[論文レビュー] Stratified Rule-Aware Network for Abstract Visual Reasoning

Sheng Hu, Yuqing Ma+3 more|arXiv (Cornell University)|Feb 17, 2020

Data Visualization and Analytics被引用数 12

ひとこと要約

本稿では、抽象的視覚推論のための新しいアーキテクチャである階層的ルール認識ネットワーク（SRAN）を提案する。SRANは、セル単位、個体単位、エコロジカルなレベルで階層的なルール埋め込みを学習し、ゲート付きモジュールを用いてそれらを統合することで、順序感度を保持し、段階的なルール誘導を可能にする。SRANは、PGMおよび新たに導入されたI-RAVENデータセットの両方で最先端の性能を達成し、三重損失を用いて訓練された判別性の高いルール埋め込みと、ルール類似度メトリクスのおかげで、先行モデルと顕著な差をつけて優れている。

ABSTRACT

Abstract reasoning refers to the ability to analyze information, discover rules at an intangible level, and solve problems in innovative ways. Raven's Progressive Matrices (RPM) test is typically used to examine the capability of abstract reasoning. The subject is asked to identify the correct choice from the answer set to fill the missing panel at the bottom right of RPM (e.g., a 3$ imes$3 matrix), following the underlying rules inside the matrix. Recent studies, taking advantage of Convolutional Neural Networks (CNNs), have achieved encouraging progress to accomplish the RPM test. However, they partly ignore necessary inductive biases of RPM solver, such as order sensitivity within each row/column and incremental rule induction. To address this problem, in this paper we propose a Stratified Rule-Aware Network (SRAN) to generate the rule embeddings for two input sequences. Our SRAN learns multiple granularity rule embeddings at different levels, and incrementally integrates the stratified embedding flows through a gated fusion module. With the help of embeddings, a rule similarity metric is applied to guarantee that SRAN can not only be trained using a tuplet loss but also infer the best answer efficiently. We further point out the severe defects existing in the popular RAVEN dataset for RPM test, which prevent from the fair evaluation of the abstract reasoning ability. To fix the defects, we propose an answer set generation algorithm called Attribute Bisection Tree (ABT), forming an improved dataset named Impartial-RAVEN (I-RAVEN for short). Extensive experiments are conducted on both PGM and I-RAVEN datasets, showing that our SRAN outperforms the state-of-the-art models by a considerable margin.

研究の動機と目的

• 既存の深層学習モデルが、順序感度や段階的ルール誘導といった重要な誘導バイアスを無視するという限界に対処すること。
• 人間の類似推論プロセスを反映する構造的で多スケールのルール埋め込みを学習できるモデルの開発。
• Ravenの進行的マトリクス（RPM）データセットに存在する深刻な欠陥を特定・是正すること。これらの欠陥は、ルールの本質的理解なしに答えを推論可能にしている。
• 属性二分木（ABT）アルゴリズムを用いて、文脈マトリクスに依存しないアンサーセットを生成することで、偏りのない新たなベンチマークデータセット、公平性を重視したRAVEN（I-RAVEN）を提案すること。
• ルール埋め込みが訓練に有効であるだけでなく、学習可能なルール類似度メトリクスを介して効率的な推論を可能にすることを示すこと。

提案手法

• SRANはRPMマトリクスの2行または2列を入力とし、セル単位（個々の要素）、個体単位（属性レベルのパターン）、エコロジカル（グローバル構造的パターン）の3段階の階層的レベルでルール埋め込みを学習する。
• モデルはゲート付き統合モジュールを用い、これらの埋め込みを段階的に統合することで、順序感度を保持し、階層的ルール誘導を可能にする。
• 学習済み埋め込みに基づくルール類似度メトリクスを導入し、三重損失を用いた訓練と、類似度スコアによる効率的なトップ1アンサー選択を可能にする。
• 属性二分木（ABT）アルゴリズムは、文脈マトリクスに依存しないアンサーセットを生成するように設計されており、RAVENデータセットにおけるショートカット一般化を排除する。
• モデルは三重損失を用いてエンドツーエンドで訓練され、正解のアンサーや予測されたルール埋め込みの類似度を最大化し、誤り候補との類似度を最小化するように最適化される。
• フレームワークは、元のPGMおよびRAVENデータセットに加え、分布的ショートカットに対してより頑健であるように設計された新規に構築されたI-RAVENデータセットでも評価される。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、RPMタスクにおける人間の抽象的推論の段階的かつ順序感度のある性質を反映する階層的ルール埋め込みを効果的に学習できるか？
• RQ2 順序感度や段階的ルール誘導といった誘導バイアスは、抽象的視覚推論における一般化性能と性能にどの程度寄与するか？
• RQ3 抽象的視覚推論のためのデータセットは、どのように構築すれば、アンサーセット内の誤った相関関係をモデルが利用するのを防げるか？
• RQ4 ルール埋め込みは、測定可能かつ判別性があるように設計できるか？これにより、効果的な訓練と効率的な推論が可能になるか？
• RQ5 提案されたモデルは、色、サイズ、タイプなどの異なるルールタイプや属性の組み合わせに対して、強固でバランスの取れた形で一般化できるか？

主な発見

• SRANは新たに構築されたI-RAVENデータセットで60.8%のテスト精度を達成し、データセットの公平性が向上しているにもかかわらず、強力な一般化性能と頑健性を示している。
• アブレーションスタディにより、セル単位、個体単位、エコロジカルなレベルの3つの階層的レベルすべてが性能向上に寄与していることが確認され、フルモデルは任意の単一レベルの変種を上回っている。
• セル単位の埋め込みにおける順序感度を無効化（和に置き換え）すると、性能が著しく低下（60.8%から23.5%に）し、順序認識の重要性が裏付けられた。
• 列ルールが再統合された状態でも、モデルは59.6%の高い性能を維持しており、行方向と列方向のルールを明確に区別できる能力を示している。
• 単一階層のアブレーションでは、異なる埋め込みが特化していることが判明：セル単位の埋め込みはタイプとサイズで優れた性能を示すが、エコロジカルおよび個体単位の埋め込みは色のタスクでより効果的である。
• ルール類似度メトリクスにより効率的な推論が可能であり、モデルの性能は多様なルール設定や複雑なパターンに対しても安定している。