[論文レビュー] End-to-End Instance Segmentation with Recurrent Attention

Mengye Ren, Richard S. Zemel|arXiv (Cornell University)|May 30, 2016

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

本稿では、視覚的アテンションを備えたエンド・トゥ・エンドの再帰的ニューラルネットワークを提案し、1つのオブジェクトを順次検出・セグメンテーションすることで、人間のような数え方を模倣したインスタンスセグメンテーションを実現する。本手法は、インスタンスカウントとセグメンテーションを同時に学習することで、CVPPP、KITTI、Cityscapesのデータセットで競争力ある性能を達成し、動的非最大抑制とアテンション駆動の最適化により、オクルージョンに強い性能を発揮するとともにパラメータ数を削減する。

ABSTRACT

While convolutional neural networks have gained impressive success recently in solving structured prediction problems such as semantic segmentation, it remains a challenge to differentiate individual object instances in the scene. Instance segmentation is very important in a variety of applications, such as autonomous driving, image captioning, and visual question answering. Techniques that combine large graphical models with low-level vision have been proposed to address this problem; however, we propose an end-to-end recurrent neural network (RNN) architecture with an attention mechanism to model a human-like counting process, and produce detailed instance segmentations. The network is jointly trained to sequentially produce regions of interest as well as a dominant object segmentation within each region. The proposed model achieves competitive results on the CVPPP, KITTI, and Cityscapes datasets.

研究の動機と目的

• セマンティックセグメンテーションがインスタンスレベルの区別ができないため、ごみくずや隠蔽状態にあるシーンで個々のオブジェクトインスタンスを区別する課題に対処すること。
• 後処理を必要とせず、微分可能でエンド・トゥ・エンドで学習可能なアーキテクチャを構築し、インスタンスカウントとピクセル単位のセグメンテーションを同時に実行すること。
• 上位から下位への反復的アテンション機構を用いて、重複する検出を動的に抑制することで、オクルージョンに強い性能を実現すること。
• グローバルなピクセル単位の予測ではなく、再帰的・逐次的な出力機構を採用することで、モデルの複雑さとパラメータ数を削減すること。
• セグメンテーションと信頼度スコアリングの共同学習により、固定のNMS閾値に依存しない自動停止基準を可能にすること。

提案手法

• モデルは、画像特徴の上にソフトアテンション機構を用いて関心領域に逐次注目する再帰的LSTMベースのコントローラーを使用する。
• 各時刻で、現在のグリムプと隠れ状態を用いて、ボックスプロポーザルネットワークが次の関心オブジェクトを局所化する。
• セグメンテーションネットワークは、デコンボリューション層を用いて、提案されたバウンディングボックス内に密なピクセル単位のマスクを生成する。
• スコアリングネットワークは、検出されたインスタンスの信頼度を評価し、シーケンスの継続または終了を決定する。
• 外部メモリは、以前にセグメンテーションされたインスタンスを保存し、時系列に跨る動的非最大抑制を可能にする。
• 訓練中に順次教師信号からモデル生成入力に段階的に移行するため、スケジューリングサンプリングを適用し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 再帰的かつアテンション駆動のアーキテクチャは、後処理を必要とせず、微分可能でエンド・トゥ・エンドにインスタンスセグメンテーションを効果的に行えるか？
• RQ2 アテンション駆動の逐次的カウント機構は、オクルージョンや密集したオブジェクトに対して、グローバルかつワンショットの予測と比較してどのように優れているか？
• RQ3 インスタンスカウントとセグメンテーションの共同学習は、性能向上と自動停止基準の実現にどの程度寄与するか？
• RQ4 外部メモリと動的NMSの使用は、標準のNMSやボトムアップ手法と比較して、オクルージョンに対する耐性をどの程度向上させるか？
• RQ5 ボックスネットワーク、アテンション機構、スケジューリングサンプリングといったアーキテクチャ的要素が、セグメンテーション精度と一般化性能に与える影響は何か？

主な発見

• 本モデルは、CVPPP、KITTI、Cityscapesのベンチマークで競争力あるインスタンスセグメンテーション性能を達成し、先行するRNNベースの手法を上回り、いくつかの複雑なグラフィカルモデルと同等またはそれを上回る。
• KITTIデータセットでは、さまざまなポーズや隠蔽状態にある車両を効果的にセグメンテーションでき、一部の車両しか見えない状況でも成功している。
• 本手法は、[26, 41]のような追加の最適化ステップに依存する手法とは異なり、後処理を必要とせず、高解像度で詳細なインスタンスマスクを生成する。
• アブレーションスタディにより、初期のフォアグラウンドセグメンテーションとボックスプロポーザルネットワークが性能に重要であることが確認され、これらを削除するとカバレッジ指標が著しく低下する。
• スケジューリングサンプリングは訓練の安定性と一般化性能を向上させ、LSTM内のグリムプ数（Iter-n）を増やすことで明確な性能向上が得られる。
• モデルは訓練の進行に従い、空間的順序（例：左から右）から信頼度に基づくアテンションのジャンプに移行することで、顕著なオブジェクトを優先して注目するよう学習する。