[論文レビュー] Segmentation from Natural Language Expressions

Ronghang Hu, Marcus Rohrbach+1 more|arXiv (Cornell University)|Mar 20, 2016

Multimodal Machine Learning Applications参考文献 25被引用数 28

ひとこと要約

この論文では、自然言語表現によってガイドされたピクセル単位の画像セグメンテーションのためのエンドツーエンドでトレーニング可能な再帰的で畳み込みニューラルネットワークを提案する。モデルはLSTMを用いて言語的記述を符号化し、完全畳み込みネットワークを用いて空間的応答マップを生成する。この応答マップはアップサンプリングされ、正確なセグメンテーションマスクが得られる。この手法は、ベンチマークデータセットにおいて、先行手法を著しく上回る性能を発揮する。

ABSTRACT

In this paper we approach the novel problem of segmenting an image based on a natural language expression. This is different from traditional semantic segmentation over a predefined set of semantic classes, as e.g., the phrase "two men sitting on the right bench" requires segmenting only the two people on the right bench and no one standing or sitting on another bench. Previous approaches suitable for this task were limited to a fixed set of categories and/or rectangular regions. To produce pixelwise segmentation for the language expression, we propose an end-to-end trainable recurrent and convolutional network model that jointly learns to process visual and linguistic information. In our model, a recurrent LSTM network is used to encode the referential expression into a vector representation, and a fully convolutional network is used to a extract a spatial feature map from the image and output a spatial response map for the target object. We demonstrate on a benchmark dataset that our model can produce quality segmentation output from the natural language expression, and outperforms baseline methods by a large margin.

研究の動機と目的

• 自然言語表現によって記述される画像領域のピクセル単位のセグメンテーションマスクを生成する課題に取り組むこと。これは、固定されたオブジェクトカテゴリを越える。
• 属性、空間的関係、エンティティ間の相互作用を含む複雑な参照表現の正確なセグメンテーションを可能にすること。
• 視覚的および言語的入力を統合してエンドツーエンドのトレーニングと推論を実現する手法を開発すること。
• 境界ボックスや固定カテゴリのセグメンテーションに依存する既存手法を上回ること。
• 人間-ロボットインタラクションやインタラクティブな画像編集などの、細粒度の視覚的グランドイングを要するアプリケーションを支援すること。

提案手法

• LSTMネットワークが入力の自然言語表現を固定長のベクトル表現に符号化する。
• 完全畳み込みネットワークが入力画像から空間的特徴マップを抽出する。
• 符号化された言語ベクトルと画像特徴マップが、完全畳み込みの方法でマルチレイヤー分類器ネットワークを介して統合され、粗い応答マップが生成される。
• 粗い応答マップがデコンボリューションによってアップサンプリングされ、ピクセル単位のセグメンテーションマスクが生成される。
• 全モデルが、正解のセグメンテーションマスクに基づく教師あり学習で、標準的なバックプロパゲーションを用いてエンドツーエンドでトレーニングされる。
• 同じアーキテクチャを用いて、オブジェクト領域（例：「青いコートを着た人」）とスタッフ領域（例：「橋の上にある空」）の両方を処理できる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、視覚的および言語的入力を統合して、自然言語表現からの正確なピクセル単位のセグメンテーションを生成できるか？
• RQ2 属性、空間的関係、複数のエンティティを含む複雑な表現に対して、モデルの性能はいかがなものか？
• RQ3 アーキテクチャの変更なしに、オブジェクト領域とスタッフ領域の両方の一般化が可能か？
• RQ4 境界ボックスの提案や固定カテゴリのセグメンテーションに依存するベースライン手法と比較して、モデルの精度と推論速度はどの程度か？
• RQ5 表現が曖昧である場合や、ターゲット領域の境界が複雑な場合、モデルの失敗モードは何か？

主な発見

• 提案手法は、ReferItベンチマークデータセットにおいて、精度および平均交差率（IoU）の両面で、すべてのベースライン手法を大きく上回った。
• 高解像度バージョンのモデルは、低解像度バージョンよりも顕著に優れた性能を示し、空間的詳細の重要性を裏付けた。
• モデルは、オブジェクト領域（例：「左側の鳥」）およびスタッフ領域（例：「橋の上にある空」）の両方に対して、妥当なセグメンテーションを生成した。
• 失敗事例では、応答マップがしばしば正しい領域をカバーしているものの、境界の正確性が制限されており、特に不規則またはグリッドに沿わないオブジェクトでは顕著であった。
• SCRC や MCG 分類のような提案ベースの手法と比較して、モデルは推論が著しく高速であり、1枚あたりの推論時間は0.325秒であったのに対し、ベースラインは3〜9秒であった。
• 複数のエンティティや複雑な空間的関係を含む挑戦的な表現に対しても、モデルは質的例の提示を通じて高い性能を発揮した。