[論文レビュー] Analogical Reasoning for Visually Grounded Language Acquisition

Bo Wu, Haoyu Qin+3 more|arXiv (Cornell University)|Jul 22, 2020

Multimodal Machine Learning Applications参考文献 55被引用数 5

ひとこと要約

本論文は、人間の類推的推論を模倣することで、新しい動詞＋名詞の組み合わせに一般化できるようにする、視覚的に根拠付けられた言語習得を可能にするマルチモーダルトランスフォーマー・モデル、Analogical Reasoning Transformer Networks (ARTNet) を提案する。類似する訓練例を検索し、学習された算術演算を適用して新しい組み合わせを推論することで、ARTNet は、指示動画理解における構成的一般化において、標準的なトランスフォーマーを著しく上回る最先端の性能を達成する。

ABSTRACT

Children acquire language subconsciously by observing the surrounding world and listening to descriptions. They can discover the meaning of words even without explicit language knowledge, and generalize to novel compositions effortlessly. In this paper, we bring this ability to AI, by studying the task of Visually grounded Language Acquisition (VLA). We propose a multimodal transformer model augmented with a novel mechanism for analogical reasoning, which approximates novel compositions by learning semantic mapping and reasoning operations from previously seen compositions. Our proposed method, Analogical Reasoning Transformer Networks (ARTNet), is trained on raw multimedia data (video frames and transcripts), and after observing a set of compositions such as "washing apple" or "cutting carrot", it can generalize and recognize new compositions in new video frames, such as "washing carrot" or "cutting apple". To this end, ARTNet refers to relevant instances in the training data and uses their visual features and captions to establish analogies with the query image. Then it chooses the suitable verb and noun to create a new composition that describes the new image best. Extensive experiments on an instructional video dataset demonstrate that the proposed method achieves significantly better generalization capability and recognition accuracy compared to state-of-the-art transformer models.

研究の動機と目的

• 明示的な言語の教師信号なしで、視覚的に根拠付けられた言語習得における構成的一般化の課題に対処すること。
• AI モデルが、関連する組み合わせ（例：'りんごを洗う'）のサブセットしか観測しなくても、新しい動詞＋名詞の組み合わせ（例：'にんじんを洗う'）を理解し、生成できるようにすること。
• 人間の類推的推論プロセスを模倣することで、見たことのない組み合わせと見たことがある組み合わせの間のパラダイマティックギャップを埋めること。
• データ不足や非構造的な環境下でも、頑健に一般化できる自己教師付きの、推論を補強したフレームワークを開発すること。

提案手法

• ARTNet は、ViLBERT に類似したマルチモーダルトランスフォーマーバックボーンを用い、視覚的および言語的入力を共有された意味的空間に埋め込む。
• 類推的記憶モジュール（AMM）を導入し、視覚的および言語的特徴に基づいて、照会画像に類似する訓練サンプルを検索する。
• 類推的推論ネットワーク（ARN）は、検索されたサンプルから関連する類推ペアを選択し、算術演算（例：'洗う' + 'にんじん' - 'りんご'）を学習して、類推を表すコンテキストベクトルを生成する。
• 条件付き組み合わせエンジン（CCE）は、照会表現と類推コンテキストベクトルを統合し、マスクされた動詞と名詞を予測することで、文を新しい組み合わせで完成させる。
• モデルはマスク言語モデルによる学習が行われ、文の動詞と名詞がマスクされ、類推的推論を用いて再構築する必要がある。
• このフレームワークは自己教師付きであり、推論に特化した教師信号を必要とせず、生の動画および字幕データから学習された類推パターンに依存する。

実験結果

リサーチクエスチョン

• RQ1 視覚的に根拠付けられた言語習得において、訓練時にそれらを一度も見ていなくても、ビジョン・ランゲージモデルが新しい動詞＋名詞の組み合わせ（例：'にんじんを洗う'）に一般化できるか。
• RQ2 人間の認知にインspiredされた類推的推論は、マルチモーダル言語習得における構成的一般化をどの程度効果的に改善できるか。
• RQ3 提案手法は、現実世界の指示動画データにおいて、未確認の組み合わせを認識する際、標準的なトランスフォーマー・モデルをどの程度上回るか。
• RQ4 モデルは、未確認の環境におけるデータ不足や分布シフトに対してどの程度頑健か。

主な発見

• ARTNet は、EPIC-Kitchens データセットにおいて、最先端のトランスフォーマー・モデルよりも顕著に高い精度を達成し、新しい組み合わせの予測性能を向上させた。
• モデルは強力な一般化能力を示し、'りんごを洗う' や 'にんじんを切る' といった関連する訓練例しか観測しなくても、'にんじんを洗う' や 'りんごを切る' といった組み合わせを正しく推論できた。
• ARTNet はデータ不足の状況でも優れた耐性を示し、訓練データが限られている場合でも安定した性能を維持した。
• モデルの予測は強いアフォーダンス特性を示しており、意味的に意味のあるかつ文脈的に適切な組み合わせを学習していることが示された。
• アブレーションスタディにより、類推的推論の各コンponent（AMM、ARN、CCE）が性能に不可欠であることが確認され、それらを除去すると顕著な精度低下が生じた。