[論文レビュー] The red one!: On learning to refer to things based on their discriminative properties

Angeliki Lazaridou, Nghia The Pham+1 more|arXiv (Cornell University)|Mar 8, 2016

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本稿では、個々の属性に対する直接的監視を一切用いずに、ペairwiseな判別性信号のみを用いて参照表現の判別的視覚的属性を予測するモデルである判別的属性ネットワーク（DAN）を提案する。DANは概念属性予測で61%のF1を達成し、人間評価試行の78%で参照的成功を示しており、判別性そのものが効果的な参照特徴を生み出せることを示している。

ABSTRACT

As a first step towards agents learning to communicate about their visual environment, we propose a system that, given visual representations of a referent (cat) and a context (sofa), identifies their discriminative attributes, i.e., properties that distinguish them (has_tail). Moreover, despite the lack of direct supervision at the attribute level, the model learns to assign plausible attributes to objects (sofa-has_cushion). Finally, we present a preliminary experiment confirming the referential success of the predicted discriminative attributes.

研究の動機と目的

• 個々の属性に対する直接的監視を用いずに、文脈内の対象を指すために判別的視覚的属性を特定するモデルを開発すること。
• 2つの対象間の区別能（判別性）として定義される特徴が、視覚的グラウンディングにおける属性予測の有効な学習信号として機能するかを検討すること。
• 予測された判別的属性が、現実世界の画像文脈において実際に成功する参照に繋がるかを評価すること。
• 個々の画像の属性ではなく、概念レベルでの判別性に基づいて学習することで、未観測の概念へのゼロショット一般化を可能にすること。

提案手法

• 70Kの概念ペア（例：CAT, SOFA）を用いて学習し、ViSAの概念レベル属性における対称的差分から得られる2値の判別性ベクトルを用いる。
• 視覚的表現は事前学習済みのVGG-19 CNNを用いて抽出し、最後から2番目の全結合層からの特徴を用いる。
• 参照対象と文脈対象の視覚的埋め込みを比較するため、共有埋め込み空間を介して判別的属性を予測する共通のアーキテクチャを持つシアンプス型ニューラルネットワークを採用する。
• 学習信号は、属性が参照対象を文脈対象から区別できるかどうかにのみ依存し、属性が参照対象に適用されるかどうかには依存しない。
• ゼロショット推論により、概念レベルのペアで学習した同じアーキテクチャとパラメータを用いて、未観測の概念へ一般化する。
• パイロット評価として、人間がDANが予測したスコアの高い属性に基づいて参照対象を特定するタスクを実施する。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズな判別性信号のみを用い、個々の属性に対する直接的監視を一切用いずに、参照表現の判別的属性を予測するモデルは学習可能か？
• RQ2 判別性そのものが、対象参照に意味のある視覚的属性を獲得する上でどの程度効果を発揮するか？
• RQ3 DANが予測する判別的属性の能力が、人間評価における実際に成功する参照にどのように繋がるか？
• RQ4 ゼロショット属性予測において、DANの性能は教師ありベースラインや上限性能と比較してどの程度か？

主な発見

• DANは概念レベル属性予測で61%のF1を達成し、直接的監視ベースライン（58% F1）を上回っており、判別性が有効な学習信号であることを示している。
• 人間評価では、DANが予測したスコアの高い属性を用いて78%のテストペアが正しく区別された。これは偶然の確率（p < 0.001）をはるかに上回る。
• 未観測の概念へのゼロショット一般化が可能であり、微調整なしに新しい物体タイプの属性を推論できる。
• 概念レベルのアノテーションノイズが存在する中でも、DANは直接的監視ベースラインを上回っており、弱い監視に頑健であることが示された。
• 上界として、個々の画像アノテーションを用いたSilbererらの手法による70% F1が得られたことから、DANの性能は概念レベルアノテーションの品質に制限されていることが示された。
• DANは平均で4つの判別的属性しか活性化しないが、ランダムベースラインの20に比べて高い精度を示しており、低再現率でも高い正確性を達成している。