[論文レビュー] Attention on Abstract Visual Reasoning

Lukas Hahne, Timo Lüddecke+2 more|arXiv (Cornell University)|Nov 14, 2019

Multimodal Machine Learning Applications参考文献 21被引用数 8

ひとこと要約

本論文は、Transformerの自己注意メカニズムと、ワイルドリレーションネットワーク（WReN）の関係性推論を組み合わせたハイブリッド深層学習モデル、Attention Relation Network（ARNe）を紹介する。ARNeは、手順的生成マトリクス（PGMs）データセットにおいて、最先端のWReNモデルよりも11.28パーセンテージポイント（ppt）高い精度を達成し、訓練データの35％のみでピーク性能に到達するなど、優れたデータ使用効率を示した。

ABSTRACT

Attention mechanisms have been boosting the performance of deep learning models on a wide range of applications, ranging from speech understanding to program induction. However, despite experiments from psychology which suggest that attention plays an essential role in visual reasoning, the full potential of attention mechanisms has so far not been explored to solve abstract cognitive tasks on image data. In this work, we propose a hybrid network architecture, grounded on self-attention and relational reasoning. We call this new model Attention Relation Network (ARNe). ARNe combines features from the recently introduced Transformer and the Wild Relation Network (WReN). We test ARNe on the Procedurally Generated Matrices (PGMs) datasets for abstract visual reasoning. ARNe excels the WReN model on this task by 11.28 ppt. Relational concepts between objects are efficiently learned demanding only 35% of the training samples to surpass reported accuracy of the base line model. Our proposed hybrid model, represents an alternative on learning abstract relations using self-attention and demonstrates that the Transformer network is also well suited for abstract visual reasoning.

研究の動機と目的

• 人間の流動的知能と認知処理における注意の役割を模倣し、注意メカニズムを活用した抽象的視覚推論のための深層学習モデルを開発すること。
• 注意メカニズムの重要性が知られているにもかかわらず、注意機構を欠如させている既存モデル（例：WReN）の限界を是正すること。
• 従来の深層学習手法と比較して、顕著に少ないラベル付き例数で高い性能を達成できるように、訓練のデータ使用効率を向上させること。
• Transformer由来の自己注意メカニズムが、言語処理を超えた非言語的・抽象的視覚推論タスクに効果的に適応可能かどうかを調査すること。

提案手法

• ARNeは、畳み込みニューラルネットワーク（CNN）パネルエンコーダ、Transformerベースの自己注意メカニズム、およびWReNを模倣した関係性推論モジュールを統合する。
• モデルは3×3マトリクスの各パネルを視覚トークンの系列として処理し、自己注意によりパネル間のオブジェクト間関係を動的に重み付けする。
• モデルが暗黙の関係性ルールを学習するのを支援するため、補助信号としてメタターゲット損失を導入する。これにより、学習の安定性と性能が向上する。
• パネル表現の系列構築時に、区切りトークン（delimiter token）を学習可能なものとして使用し、個別の視覚的要素間の注意を強化する。
• ドロップアウト率、学習率、メタターゲットのβ重み付けといったハイパーパrameterは、アブレーションスタディにより最適化される。
• モデルはPGMsデータセット上で評価され、WReNや他のベースラインと比較され、自己注意を全結合ネットワークに置き換えたアブレーションも含む。

実験結果

リサーチクエスチョン

• RQ1 Transformer由来の自己注意メカニズムは、自然言語処理を超えた抽象的視覚推論タスクに対しても、効果的に適用可能か？
• RQ2 自己注意と関係性推論を組み合わせることで、WReNなどの最先端モデルと比較してPGMsデータセットでの性能が向上するか？
• RQ3 ARNeは訓練におけるデータ使用効率をどの程度向上させるか？また、顕著に少ないラベル付き例数でピーク性能に到達できるか？
• RQ4 区切りトークン、ドロップアウト、メタターゲット監視といったアーキテクチャ的要素が、モデルの性能と一般化能力にどのように影響を与えるか？
• RQ5 MACアーキテクチャがWReNベースのエンコーダと組み合わされた際、なぜPGMタスクで失敗するのか？これは、タスクの関係的構造に適したアーキテクチャの適合性について何を示唆するか？

主な発見

• ARNeは、PGMsデータセットにおいて、現在の最先端モデルであるWReNを11.28パーセンテージポイント（ppt）上回り、訓練データの35％を使用した場合に87.64％のテスト精度を達成した。
• モデルは、PGMsデータセット全体の35％のデータのみでピーク性能に到達した。これは、従来の深層学習モデルと比較して顕著なデータ使用効率の高さを示している。
• アブレーションスタディの結果、ドロップアウトと区切りトークンが小規模データセットでの性能向上に寄与しており、正則化の効果が示された。
• メタターゲット監視を削除した場合（β = 0）、モデルは収束しなかった。これは、補助信号が関係性パターンの学習に不可欠であることを示している。
• 入力画像の解像度を160×160ピクセルから80×80ピクセルに低下させたところ、精度が15ppt低下した。これは、微細な視覚的構造がモデルの推論に不可欠であることを示している。
• MACアーキテクチャは、WReNベースのエンコーダと組み合わせた際、PGMタスクで著しく低い性能を示した。これは、タスクの関係的構造とアーキテクチャの不適合性を示唆している。