[論文レビュー] Learning Representations that Support Extrapolation

Taylor W. Webb, Zachary Dulberg+4 more|arXiv (Cornell University)|Jul 9, 2020

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本論文は、表現における関係的構造に注目することで一般化を向上させる、ニューラルネットワークの一般化を強化する新規な帰納的バイアス「コンテキスト正規化」を導入する。この手法により、学習データをはるかに超える外挿が顕著に達成可能になる。VAEC（Visual Analogy Extrapolation Challenge）と呼ばれる新しい視覚的類似性ベンチマークで評価したところ、特に平行移動やスケール変化が加えられた入力に対するゼロショット一般化性能が、競合手法を上回った。

ABSTRACT

Extrapolation -- the ability to make inferences that go beyond the scope of one's experiences -- is a hallmark of human intelligence. By contrast, the generalization exhibited by contemporary neural network algorithms is largely limited to interpolation between data points in their training corpora. In this paper, we consider the challenge of learning representations that support extrapolation. We introduce a novel visual analogy benchmark that allows the graded evaluation of extrapolation as a function of distance from the convex domain defined by the training data. We also introduce a simple technique, temporal context normalization, that encourages representations that emphasize the relations between objects. We find that this technique enables a significant improvement in the ability to extrapolate, considerably outperforming a number of competitive techniques.

研究の動機と目的

• 現在のモデルが学習データの凸包内での補間による一般化にとどまることを踏まえ、ニューラルネットワークにおける外挿の根本的課題に取り組む。
• 訓練ドメインからの距離関数としての外挿性能を体系的に評価できるベンチマークを開発する。
• 表現空間における対称性（平行移動およびスケーリング不変性）の学習を促進する、シンプルだが効果的な帰納的バイアス「コンテキスト正規化」を設計する。
• この帰納的バイアスにより、訓練時に明示的な露出がなくても、未観測の領域外入力へ一般化できるかどうかを実証する。

提案手法

• タスクに適した時間窓内で特徴量を正規化することで、表現空間におけるスケールおよび平行移動不変性を強制する「コンテキスト正規化」を提案する。
• 上流および下流の表現を制約する層固有の操作としてコンテキスト正規化を適用し、抽象的で関係的な特徴を促進する。
• 明確に制御された明るさ、サイズ、2次元位置の変化（全42段階）を備えた4用語の視覚的類似性データセット「Visual Analogy Extrapolation Challenge（VAEC）」を設計する。
• VAECを段階的な評価体制として構成し、訓練凸包から離れるほどに外挿が困難になる平行移動およびスケーリング外挿の状況を想定する。
• コンテキスト正規化を用いてモデルをエンドツーエンドで学習し、VAEC、Hill et al. (2019) のデータセット、動的物体予測タスクにおいて複数の競合ベースラインと性能を比較する。
• 領域外データへの明示的アクセスなしに、フィードフォワードエンコーダーを用いることで、外挿がコンテキスト正規化の帰納的バイアスに起因して生じることを保証する。

実験結果

リサーチクエスチョン

• RQ1 コンテキスト正規化のようなシンプルな帰納的バイアスが、ニューラルネットワークにおけるゼロショット外挿性能を顕著に向上させ得るか？
• RQ2 コンテキスト正規化は、訓練データの凸包から大きく離れた入力に対しても、どの程度一般化性能を向上させるか？
• RQ3 領域外例にさらされていないにもかかわらず、コンテキスト正規化の存在が上流層における表現学習を関係的一般化を支援する方向に変化させるか？
• RQ4 多様なタスクドメインにおいて、提案手法は既存のアプローチと比較して外挿性能で優れているか？
• RQ5 VAECのようなベンチマークは、訓練ドメインからの距離関数としての外挿を段階的かつ体系的に評価可能か？

主な発見

• コンテキスト正規化はVAECベンチマークにおいて、特に平行移動およびスケーリング外挿の状況で外挿性能を顕著に向上させた。
• メモリネットワークや関係的帰納的バイアスに基づく手法を含む、複数の競合手法をすべての評価タスクで上回った。
• 訓練時に領域外データにさらされていなくても、コンテキスト正規化を備えたモデルは、訓練分布から著しく離れた入力に対しても効果的に一般化できた。
• この向上は、タスクの背後にある対称性を反映する表現空間におけるスケールおよび平行移動不変性を促進する帰納的バイアスに起因する。
• 結果として、コンテキスト正規化のような微細なアーキテクチャ的帰納的バイアスが、未観測だが構造的に類似した領域外入力に対する顕著なゼロショット一般化を可能にすることが示された。
• VAECベンチマークは段階的な外挿評価を成功裏に可能にし、訓練ドメインからの距離が増すにつれて性能低下が明確に現れるのを明らかにしたが、コンテキスト正規化によりその影響が効果的に緩和された。