[論文レビュー] Deep Learning Methods for Abstract Visual Reasoning: A Survey on Raven's Progressive Matrices

Mikołaj Małkiński, Jacek Mańdziuk|arXiv (Cornell University)|Jan 28, 2022

Data Visualization and Analytics被引用数 12

ひとこと要約

本調査は、レーヴェンの進行的配列（RPMs）を用いた抽象的視覚的推論のためのディープラーニング手法をレビューし、ベンチマークデータセット、学習手法、ニューラルアーキテクチャを分析する。一般化と少サンプル学習における主な課題を特定し、特定のベンチマークでスーパーヒューマン性能を達成しているものの、人間並みの推論にはまだ至っていないことが示される。

ABSTRACT

Abstract visual reasoning (AVR) domain encompasses problems solving which requires the ability to reason about relations among entities present in a given scene. While humans, generally, solve AVR tasks in a "natural" way, even without prior experience, this type of problems has proven difficult for current machine learning systems. The paper summarises recent progress in applying deep learning methods to solving AVR problems, as a proxy for studying machine intelligence. We focus on the most common type of AVR tasks -- the Raven's Progressive Matrices (RPMs) -- and provide a comprehensive review of the learning methods and deep neural models applied to solve RPMs, as well as, the RPM benchmark sets. Performance analysis of the state-of-the-art approaches to solving RPMs leads to formulation of certain insights and remarks on the current and future trends in this area. We conclude the paper by demonstrating how real-world problems can benefit from the discoveries of RPM studies.

研究の動機と目的

• 抽象的視覚的推論（AVR）に応用されたディープラーニングアプローチを包括的にレビューすることを目的とし、主にレーヴェンの進行的配列（RPMs）をベンチマークとして用いる。
• 最先端のディープラーニングモデルがRPMタスクを解く際の性能と限界を分析することを目的とし、特に少サンプルおよび分布外一般化の設定における性能を評価する。
• 現在の手法におけるギャップ、特にサンプル効率性と転移性の面を特定し、今後の研究が人間水準の推論能力に向けた道筋を示すことを目的とする。
• RPM研究の一般的な応用可能性が、空間的および関係的推論を要する実世界の問題に対しても拡張可能であることを示すことを目的とする。
• 一貫した分類法に基づき、既存のRPMベンチマークデータセット、学習戦略、ディープニューラルネットワークアーキテクチャを体系的に分類・比較することを目的とする。

提案手法

• Ravenの進行的配列（RPMs）ベンチマークデータセット（RAVEN, PGM, Sandia, D-set/G-set, および合成RPMs）を、複雑さと一般化の枠組みに基づき体系的に分類する。
• 教師あり学習、マルチホット／スパース符号化を用いた補助学習、対照的学習、データ拡張、分離表現学習、非教師あり／自己教師ありアプローチを含む多様な学習手法をレビューする。
• 基本的なCNN、LSTM、MLPヘッドを備えたResNetから、WReN、CoPINet、MRNet、LEN、および階層的ネットワーク（例：SRAN、Rel-AIR、DCNet）に至るまで、多様なディープラーニングモデルを分析する。
• 標準的なRPMベンチマークにおける性能指標を用いて、特に低データ環境下での一般化性とサンプル効率性を評価する。
• 図2に示す分類法（taxonomy）を導入し、ベンチマーク、学習戦略、モデルアーキテクチャの観点から、体系的な比較を可能にする。
• アブレーションスタディおよび異なるデータセット（例：RAVENとPGM）間での性能比較を通じて、モデルの頑健性と一般化性能を、訓練データサイズの変化に応じて評価する。

実験結果

リサーチクエスチョン

• RQ1 最近のRPMsに関するディープラーニング研究で用いられている主要なベンチマークデータセットは何か？ それらの設計選択がモデル評価に与える影響は何か？
• RQ2 教師あり、対照的、非教師あり、データ拡張といった異なる学習パラダイムは、抽象的視覚的推論におけるモデルの性能と一般化にどのように影響を与えるか？
• RQ3 最先端のディープラーニングモデルは、分布外または少サンプルのRPM問題に対してどの程度一般化できるか？ 人間の性能と比較するとどうか？
• RQ4 どのニューラルアーキテクチャがRPMsにおける関係的・抽象的推論に最も効果的か？ どのようなアーキテクチャ的革新がより良い性能を実現しているか？
• RQ5 ある種のRPMタスク（例：マトリクス補完）で学習したディープラーニングモデルは、他のAVRタスク（例：異物特定）に知識を転送できるか？ その根拠は何か？

主な発見

• 現在のディープラーニングモデルは、数百万例のデータで学習された大規模データセット上では、RAVEN や PGM といった特定のRPMベンチマークでスーパーヒューマン性能を達成しているが、そのような条件下でのみである。
• 低データ環境下では性能が急激に低下する——例として、RAVEN や PGM において、データ量を N/2^i に制限した場合、正確性に顕著な低下が見られ、サンプル効率性の欠如が顕著に表れる。
• RAVENの一つの設定で学習したモデルは、他の設定に一般化できることが示され、ある程度の抽象化と転移学習の可能性があるが、依然として限定的で体系的ではない。
• WReN、CoPINet、LEN といったアーキテクチャは、視覚的要素間の論理演算（XOR や OR など）を処理する関係的推論において優れた性能を示している。
• 進展は見られるものの、いかなるモデルも、分布シフト、少サンプル、分布外一般化といったすべての一般化状況で人間水準の一般化を達成できていないことから、推論の頑健性に根本的なギャップが存在することが示唆される。
• 対照的学習、分離表現、非教師あり事前学習は一般化性能の向上に有望であるが、依然として抽象的推論における人間とAIのギャップを埋めるには十分ではない。