[論文レビュー] BiLingUNet: Image Segmentation by Modulating Top-Down and Bottom-Up Visual Processing with Referring Expressions

Ozan Arkan Can, İlker Kesen+1 more|arXiv (Cornell University)|Mar 28, 2020

Multimodal Machine Learning Applications参考文献 31被引用数 5

ひとこと要約

BiLingUNetは、参照表現を用いてボトムアップおよびトップダウンの視覚処理をモodulateする、画像セグメンテーションの新規モデルを提案する。単純な言語条件付き畳み込み融合に依存する手法よりも優れた性能を発揮する。標準の1×1フィルタではなく、より広い関係性を捉えるフィルタを採用することで、4つの参照表現データセットで最先端の性能を達成した。

ABSTRACT

We present BiLingUNet, a state-of-the-art model for image segmentation using referring expressions. BiLingUNet uses language to customize visual filters and outperforms approaches that concatenate a linguistic representation to the visual input. We find that using language to modulate both bottom-up and top-down visual processing works better than just making the top-down processing language-conditional. We argue that common 1x1 language-conditional filters cannot represent relational concepts and experimentally demonstrate that wider filters work better. Our model achieves state-of-the-art performance on four referring expression datasets.

研究の動機と目的

• 参照表現を用いて視覚特徴学習に言語をより効果的に統合することで、画像セグメンテーションを向上させること。
• 1×1の言語条件付きフィルタが関係性のある視覚的概念を捉えるのに限界を示す問題を解決すること。
• 言語的文脈を用いてボトムアップおよびトップダウンの視覚パスをモodulateする有効性を調査すること。
• より広いフィルタが視覚セグメンテーションにおける関係性のある言語的概念をより良く表現できることを示すこと。
• 標準の参照表現セグメンテーションベンチマークで最先端の性能を達成すること。

提案手法

• BiLingUNetは、ボトムアップおよびトップダウンの視覚処理のための二重モodulationパスを持つU-Netベースのアーキテクチャを採用する。
• 参照表現からの言語特徴が、両方のパスにおける視覚フィルタを動的にモodulateする。
• 言語で表現された関係性のある視覚的概念をより良く表現するために、標準の1×1フィルタを超える広い畳み込みフィルタを採用する。
• 視覚特徴マップを言語入力に条件づけるために、学習可能なアテンションまたはゲーティング機構を用いてモodulationを適用する。
• 参照表現データセットにおけるセグメンテーション損失を用いて、エンド・トゥ・エンドでネットワークを訓練する。
• 言語と視覚モalityの特徴を連結するのではなく、動的フィルタ生成によって統合する。

実験結果

リサーチクエスチョン

• RQ1 言語によるモodulationをボトムアップおよびトップダウン両方の視覚パスに適用することで、トップダウンのみに限定した条件付けよりもセグメンテーション性能が向上するか？
• RQ2 1×1の言語条件付きフィルタは、参照表現における関係性のある視覚的概念を正しく表現できないのか？
• RQ3 1×1フィルタではなくより広いフィルタを用いることで、言語誘導型画像セグメンテーションの性能が向上するか？
• RQ4 参照表現に基づく動的フィルタモodulationが、標準ベンチマークで最先端の結果を達成できるか？
• RQ5 特徴の連結を用いるモデルと比較して、BiLingUNetはどのように異なるか？

主な発見

• BiLingUNetは、4つの参照表現セグメンテーションデータセットで最先端の性能を達成し、先行手法を上回った。
• 言語によるモodulationをボトムアップおよびトップダウン両方の視覚パスに適用することで、トップダウンパスのみに制限した場合よりも高いセグメンテーション精度が得られた。
• 標準の1×1フィルタではなく、より広いフィルタが、参照表現における関係性の概念を捉えるのに効果的である。
• 本モデルは、1×1の言語条件付きフィルタが、言語における複雑な空間的または関係性のある関係を正しく表現できないことを示した。
• 動的モodulation機構により、特徴の連結よりも正確に参照された画像領域を局所化できることが確認された。
• アブレーションスタディにより、視覚パスの共同モodulationが、ベースラインの統合戦略よりも顕著に性能向上をもたらすことが確認された。