[論文レビュー] CLEVR-Ref+: Diagnosing Visual Reasoning with Referring Expressions

Runtao Liu, Chenxi Liu+2 more|arXiv (Cornell University)|Jan 3, 2019

Multimodal Machine Learning Applications被引用数 21

ひとこと要約

この論文では、バイアスを正確に制御でき、中間推論ステップの自動的・プログラマティックな真値を提供する、参照表現理解のための合成的診断データセットである CLEVR-Ref+ を紹介する。モジュールネットワークアプローチを用いて、著者らは IEP-Ref を提案し、最先端の性能を達成するとともに、神経モジュールが視覚的に段階的に確認可能であることを初めて示した。また、存在しない対象を指す誤った前提の参照表現に対しても強く頑健であることを示した。

ABSTRACT

Referring object detection and referring image segmentation are important tasks that require joint understanding of visual information and natural language. Yet there has been evidence that current benchmark datasets suffer from bias, and current state-of-the-art models cannot be easily evaluated on their intermediate reasoning process. To address these issues and complement similar efforts in visual question answering, we build CLEVR-Ref+, a synthetic diagnostic dataset for referring expression comprehension. The precise locations and attributes of the objects are readily available, and the referring expressions are automatically associated with functional programs. The synthetic nature allows control over dataset bias (through sampling strategy), and the modular programs enable intermediate reasoning ground truth without human annotators. In addition to evaluating several state-of-the-art models on CLEVR-Ref+, we also propose IEP-Ref, a module network approach that significantly outperforms other models on our dataset. In particular, we present two interesting and important findings using IEP-Ref: (1) the module trained to transform feature maps into segmentation masks can be attached to any intermediate module to reveal the entire reasoning process step-by-step; (2) even if all training data has at least one object referred, IEP-Ref can correctly predict no-foreground when presented with false-premise referring expressions. To the best of our knowledge, this is the first direct and quantitative proof that neural modules behave in the way they are intended.

研究の動機と目的

• 現実世界の参照表現データセットに見られる強いアノテーションバイアスと中間推論監視の欠如といった限界を是正すること。
• 最終予測精度を超えたモデル行動の詳細な分析を可能にする診断ベンチマークの開発。
• 参照表現に関連する自動生成された機能的プログラムによって、視覚的推論プロセスの評価を可能にすること。
• 解釈可能でモジュラーな推論をサポートし、各中間ステップで確認可能なモデルアーキテクチャの提案。
• 神経モジュールが直接的な中間出力の可視化によって、その意図した機能を果たしているかどうかを検証できることの実証。

提案手法

• CLEVRの質問を参照表現に変換することで CLEVR-Ref+ を構築し、出力はセグメンテーションマスクまたはバウンディングボックスの形式とする。
• 制御されたシーン生成により均一なサンプリングを実現し、データセットバイアスを最小限に抑える合成環境を用いる。
• 各参照表現を、段階的な推論プロセスを符号化する機能的プログラムと自動的に関連付ける。
• 各モジュールが特定の推論操作（例：Find、Relate、Count）を特徴マップに対して実行する神経モジュールネットワークとして IEP-Ref を設計する。
• 訓練済みの Segment モジュールを中間モジュール出力に接続することで、追加の訓練なしに段階的な推論プロセスを視覚化する。
• IoU と正答率を用いてモデル性能を評価し、サブカテゴリの性能分析によりモデルの弱みを診断する。

実験結果

リサーチクエスチョン

• RQ1 合成データセットは、バイアスを低減させるとともに、参照表現モデルにおける中間推論ステップの評価を正確に行えるか？
• RQ2 共有のセグメンテーションモジュールを用いて中間出力を可視化することで、神経モジュールネットワークの解釈性はどの程度向上するか？
• RQ3 有効な参照表現のみで学習したモデルは、存在しない対象を指す誤った前提の表現に対しても一般化できるか？
• RQ4 順序性や同一属性関係といった推論概念の中で、現在のモデルが最も困難に感じるのはどれか？
• RQ5 参照表現に関連する機能的プログラムを用いて、各モジュールが意図したタスクを正しく実行しているかを検証できるか？

主な発見

• IEP-Ref は CLEVR-Ref+ において最先端の性能を達成し、セグメンテーションマスクの IoU と正答率の両面で、既存のモデルを顕著に上回った。
• 誤った前提の参照表現に対しても、モデルは頑健であることが示された：訓練データに含まれないにもかかわらず、25%以上のケースで前景ピクセル数がゼロとなり、33%以上のケースで前景ピクセル数が8以下となった。
• 訓練済みの Segment モジュールを中間出力に接続することで、明確で解釈可能な段階的推論経路が得られ、各ステップで高い IoU が得られた。これは、モジュールが意図した通りに動作していることを確認した。
• Unique モジュールは予期しない挙動を示したが、しばしば補集合演算の役割を果たしていた。しかし、後続の Same や Relate モジュールによって是正されており、学習された機能的適応が示された。
• 順序性と同一属性関係が最も困難な推論概念であり、他のサブカテゴリと比較して、モデルの性能が顕著に劣っていた。
• 本研究は、神経モジュールネットワークにおける各モジュールが意図した機能を果たしていることを、可視化によって直接的かつ定量的に証明した初の事例である。