[論文レビュー] On transfer learning using a MAC model variant

Vincent Marois, T. S. Jayram+4 more|arXiv (Cornell University)|Nov 15, 2018

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 7

ひとこと要約

本稿では、再帰セルのパラメータを半分に削減したS-MACを紹介する。S-MACは、CLEVRおよびCoGenTで同等の精度を維持しながら、より高速な学習を可能にする。微調整により15ポイントの性能向上が達成され、最先端の結果を記録したが、不適切な微調整は精度を低下させる可能性がある。これはドメイン相関の適切な取り扱いの重要性を示唆している。

ABSTRACT

We introduce a variant of the MAC model (Hudson and Manning, ICLR 2018) with a simplified set of equations that achieves comparable accuracy, while training faster. We evaluate both models on CLEVR and CoGenT, and show that, transfer learning with fine-tuning results in a 15 point increase in accuracy, matching the state of the art. Finally, in contrast, we demonstrate that improper fine-tuning can actually reduce a model's accuracy as well.

研究の動機と目的

• 視覚推論ベンチマークで高い精度を維持しつつ、より高速に学習可能なMACモデルの簡素化された変種を開発すること。
• CLEVRおよびCoGenTにおけるMACモデルおよびその変種の一般化能力と概念分離能力を評価すること。
• トランスファー学習および微調整が、特にゼロショットおよびフェイントショット設定における構成的一般化に与える影響を調査すること。
• 不適切な微調整がモデルの精度を低下させる可能性があることの強調を含め、トランスファー学習におけるドメイン相関の重要性を示すこと。

提案手法

• 再帰セルのパラメータを削減し、方程式を簡素化したS-MACを提案。
• CLEVRおよびCoGenT-A/BでMACおよびS-MACを学習・評価し、学習に90%のデータ、検証に10%のデータを用いる。
• CoGenT-Bの検証セットから3万件のサンプルを用いて微調整を行い、残りのCoGenT-BおよびCoGenT-Aのセットでテストする。
• すべての実験で同一の学習・検証・テスト分割戦略を用いて一貫性を確保する。
• 公開済みの結果を用いて、PG+EE、FiLM、TbDなどのモデルと性能を比較する。
• 形状と色の概念分離性を評価するため、定性的な例を通じてモデルの挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 簡素化されたMACモデルの変種は、元のMACモデルと同等の精度を達成しながら、より高速に学習できるか？
• RQ2 微調整によるトランスファー学習は、CoGenTのような構成的一般化ベンチマークでの性能にどのように影響するか？
• RQ3 MACおよびS-MACモデルは、形状や色といった視覚的属性をどの程度分離しているか？
• RQ4 ドメイン相関が適切に考慮されない場合、微調整のリスクは何か？
• RQ5 なぜ微調整が精度を向上させない場合、むしろ低下させることがあるのか？

主な発見

• S-MACは、再帰セルのパラメータをほぼ半分に削減したにもかかわらず、CLEVRおよびCoGenTで元のMACモデルと同等のテスト精度を達成した。
• CoGenT-Bの3万件のサンプルを用いた微調整により、15ポイントの精度向上が達成され、CoGenTで最先端の性能に到達した。
• MACおよびS-MACの両モデルはゼロショット一般化が著しく劣っており、形状や色の概念の分離が不十分であることが示唆された。
• ドメイン相関が低いソースドメインとは異なるドメインで微調整を行うと、モデルの精度が低下する可能性がある。
• トランスファー学習においては、ドメイン相関を慎重に検討する必要があることが、結果から示唆された。
• 先行研究における再現性の難しさは、公開済みモデルの学習・微調整・テストセットの定義が不明瞭であることが要因であると指摘された。