[論文レビュー] CLOSURE: Assessing Systematic Generalization of CLEVR Models

Dzmitry Bahdanau, Harm de Vries+5 more|arXiv (Cornell University)|Dec 12, 2019

Multimodal Machine Learning Applications参考文献 30被引用数 36

ひとこと要約

この論文は CLEVR で訓練されたモデルが新規参照表現へ系統的に一般化するかを評価するための CLOSURE ベンチマークを導入する。 end-to-end およびニューラル記号モデル全般で顕著な一般化ギャップを示し、構成的一般化を改善する Vector-NMN を導入し、few-shot 転移効果を探る。

ABSTRACT

The CLEVR dataset of natural-looking questions about 3D-rendered scenes has recently received much attention from the research community. A number of models have been proposed for this task, many of which achieved very high accuracies of around 97-99%. In this work, we study how systematic the generalization of such models is, that is to which extent they are capable of handling novel combinations of known linguistic constructs. To this end, we test models' understanding of referring expressions based on matching object properties (such as e.g. "another cube that is the same size as the brown cube") in novel contexts. Our experiments on the thereby constructed CLOSURE benchmark show that state-of-the-art models often do not exhibit systematicity after being trained on CLEVR. Surprisingly, we find that an explicitly compositional Neural Module Network model also generalizes badly on CLOSURE, even when it has access to the ground-truth programs at test time. We improve the NMN's systematic generalization by developing a novel Vector-NMN module architecture with vector-valued inputs and outputs. Lastly, we investigate how much few-shot transfer learning can help models that are pretrained on CLEVR to adapt to CLOSURE. Our few-shot learning experiments contrast the adaptation behavior of the models with intermediate discrete programs with that of the end-to-end continuous models.

研究の動機と目的

• CLEVR で訓練されたモデルが CLOSURE で新規参照表現へ系統的一般化を示すかを評価する。
• 新規で CLEVR 似たタスクに対するエンドツーエンドおよび記号プログラムベースの VQA モデルの一般化ギャップを定量化する。
• 構成性一般化を強化する Variant（Vector-NMN を含む）を調査する。

提案手法

• CLEVR 似の質問に一致する参照表現を代入して、OOD（out-of-distribution）だが意味的には構成可能な質問を作成する7つの CLOSURE テストを構築する。
• ゼロショット一般化に対して幅広いモデルを評価する：FiLM、MAC、NS-VQA、NMN の派生、そして提案する Vector-NMN。
• 実地プログラムと学習済みプログラム生成器を比較し、テスト時に実地プログラムを提供した場合（GT-*）の影響を評価する。
• 構成一般化を改善するために、FiLM スタイルの条件付けと共有 CNN/U フィルタを基盤とし、ベクトル値入力/出力を持つ Vector-NMN を提案する。
• 各 CLOSURE ファミリーにつき36例の few-shot 学習で事前学習済みモデルをファインチューニングし、 explicit program supervision の有無で探索する。

実験結果

リサーチクエスチョン

• RQ1 CLOSURE で初期の CLEVR 訓練時には見られなかった新規参照表現の組み合わせに、最先端の CLEVR モデルはどのように一般化するか？
• RQ2 記号プログラムベースのアプローチ（NS-VQA、NMN）は、エンドツーエンドモデルと比較して CLOSURE で系統的一般化がより良いか、または悪いか？
• RQ3 ベクトルベースの NMN モジュールは、クロス構成一般化を改善できるか、どの条件下で？
• RQ4 few-shot 転移が、プログラムベースおよびエンドツーエンドのモデルの系統的一般化に与える影響はどのようなものか？

主な発見

• ほとんどの CLEVR 訓練済みモデルは CLOSURE テストでベースの CLEVR 似質問よりも大幅に性能が低下し、系統的一般化が脆弱であることを示している。
• MAC は FiLM よりも優れているが、それでもいくつかの CLOSURE テストでベースライン精度の 15–35% を失い、一般化ギャップを示す。
• NS-VQA および NMN の派生は、特に論理的参照表現で顕著な一般化ギャップを示し、場合によっては実地プログラムがあるにもかかわらず差が出る。
• Vector-NMN は Tensor-NMN よりもはるかに良く一般化し、ほとんどのテストでベースラインの性能に匹敵することが多いが、 and_mat_spa を除く。
• few-shot の例（CLOSURE ファミリーごとに36例）を提供すると、ほとんどのモデルで CLOSURE の性能が大幅に向上する。プログラムベースのモデルは supervision を受ければ目標精度に達することが多く、エンドツーエンドモデルは継続的な訓練の恩恵を受ける。
• テスト時の実地プログラムは、プログラムベースのモデルに劇的な助力を与え、構成タスクには正確なプログラム grounding への依存を強調する。