[論文レビュー] Visual Referring Expression Recognition: What Do Systems Actually Learn?

Volkan Cirik, Louis–Philippe Morency+1 more|arXiv (Cornell University)|May 30, 2018

Multimodal Machine Learning Applications参考文献 29被引用数 6

ひとこと要約

この論文は、最先端の参照表現認識（RER）モデルが言語構造を真正に理解しているのか、それともデータセットバイアスに依存しているのかを調査する。単語の参照表現を無視するか部分的に使用する単純なニューラル sieves を導入することで、著者らは言語入力を使用しない状態でも84.2%のtop-2精度を達成することを示し、性能が言語理解ではなくデータ内の浅い相関関係に起因している可能性を示している。

ABSTRACT

We present an empirical analysis of the state-of-the-art systems for referring expression recognition -- the task of identifying the object in an image referred to by a natural language expression -- with the goal of gaining insight into how these systems reason about language and vision. Surprisingly, we find strong evidence that even sophisticated and linguistically-motivated models for this task may ignore the linguistic structure, instead relying on shallow correlations introduced by unintended biases in the data selection and annotation process. For example, we show that a system trained and tested on the input image $ extit{without the input referring expression}$ can achieve a precision of 71.2% in top-2 predictions. Furthermore, a system that predicts only the object category given the input can achieve a precision of 84.2% in top-2 predictions. These surprisingly positive results for what should be deficient prediction scenarios suggest that careful analysis of what our models are learning -- and further, how our data is constructed -- is critical as we seek to make substantive progress on grounded language tasks.

研究の動機と目的

• 最先端のRERモデルが言語構造を真正に活用しているのか、それともデータセットバイアスを悪用しているのかを調査すること。
• 語順の入れ替えや語の品詞の削除などの参照表現への摂動に対して、RERモデルの頑健性を評価すること。
• 参照表現を無視するか部分的に使用する単純なベースラインモデル（ニューラル sieves）を開発し、複雑なモデルが悪用しているデータ内の浅い相関関係を明らかにすること。
• 真の理解ではなく偶然的相関に依存するのではなく、真の理解に基づいた進歩がなされているかを保証するため、文脈的言語タスクにおけるデータセットおよびモデル分析の重要性を強調すること。

提案手法

• 2つの単純なニューラル sieve モデルを提案：Sieve I は参照表現を無視し、カテゴリ頻度に基づいてオブジェクトをフィルタリングする。Sieve II は参照表現からオブジェクトカテゴリを予測する。
• Sieve I と Sieve II を組み合わせたパイプラインを用い、候補オブジェクトの集合を2個以下に削減する。
• 摂動実験を実施：語順をシャッフルし、語を名詞と形容動詞に制限し、参照表現を完全に削除する。
• Google-Ref データセットで学習・評価を行い、precision@k メトリクスを用い、CMN や LSTM+CNN-MIL といった最先端モデルと比較する。
• Faster R-CNN 特徴量と GloVe 嵪合を用い、最適化には SGD を使用し、統合表現のためのL2正則化を適用する。
• テキスト特徴量とボックス特徴量の要素ごとの積を統合表現として用い、オブジェクト検出のスコアリングにシグモイド関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 最先端のRERモデルは、言語構造に依存しているのか、それとも視覚的・カテゴリベースの浅い相関関係に依存しているのか、どの程度の割合で依存しているのか。
• RQ2 語順のシャッフルや語の品詞制限といった摂動に対して、RERモデルはどの程度頑健なのか。
• RQ3 参照表現を無視するか部分的に使用する単純なモデルが高精度を達成できるか。これはデータセットに悪用可能なバイアスがあることを示唆する。
• RQ4 最先端モデルの正解予測のどの程度が、言語的推論ではなくオブジェクトカテゴリの頻度に起因しているのか。
• RQ5 単純なニューラル sieve のパイプラインが、参照表現を一切使用せずに複雑なモデルの性能を再現できるか、どの程度の割合で再現できるか。

主な発見

• 参照表現を一切使用しないモデルでも、top-2予測で71.2%の精度を達成しており、視覚的およびカテゴリベースの手がかりに強く依存していることが示唆される。
• 参照表現からオブジェクトカテゴリを予測するモデルだけでも、top-2予測で84.2%の精度を達成しており、カテゴリレベルの情報だけでも非常に予測可能であることが示されている。
• ニューラル sieve I（カテゴリフィルタリング）と sieve II（カテゴリ予測）を組み合わせたパイプラインは、top-2予測で84.2%、top-3予測で95.3%の精度を達成した。
• 語順をシャッフルしたり、語を名詞と形容動詞に制限しても、最先端モデルは依然として高い性能を維持しており、構文的構造の利用が最小限であることが示唆される。
• 結果から、多くの最先端RERモデルが真の言語的・視覚的統合理解ではなく、データ内の浅い相関関係を学習している可能性がある。
• 本研究は、オブジェクトカテゴリの統計と画像特徴量のみを用いても顕著な性能が達成できることを示しており、現在の評価メトリクスとデータセットバイアスの妥当性に懸念を呈している。