[論文レビュー] Attentive Neural Processes

Hyunjik Kim, Andriy Mnih+6 more|arXiv (Cornell University)|Jan 17, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用数 27

ひとこと要約

本稿では、従来のニューラルプロセス（NPs）の拡張として、微分可能アテンションを用いてコンテキスト表現の学習を改善する、アテンティブニューラルプロセス（ANPs）を提案する。これにより、観測済みコンテキスト点における予測の正確性が向上する。ターゲット入力を関連するコンテキスト点に注目させることで、ANPsは著しくアンダーフィッティングを軽減し、訓練速度を向上させ、標準NPsと比較してより広範な関数のモデル化を可能にする。

ABSTRACT

Neural Processes (NPs) (Garnelo et al 2018a;b) approach regression by learning to map a context set of observed input-output pairs to a distribution over regression functions. Each function models the distribution of the output given an input, conditioned on the context. NPs have the benefit of fitting observed data efficiently with linear complexity in the number of context input-output pairs, and can learn a wide family of conditional distributions; they learn predictive distributions conditioned on context sets of arbitrary size. Nonetheless, we show that NPs suffer a fundamental drawback of underfitting, giving inaccurate predictions at the inputs of the observed data they condition on. We address this issue by incorporating attention into NPs, allowing each input location to attend to the relevant context points for the prediction. We show that this greatly improves the accuracy of predictions, results in noticeably faster training, and expands the range of functions that can be modelled.

研究の動機と目的

• ニューラルプロセス（NPs）における根本的なアンダーフィッティング問題に対処すること。特に、コンテキスト表現の平均集約によって、コンテキスト点における予測が不正確になる問題である。
• 関連するコンテキスト点に対する動的でアテンションベースの重み付けを可能にすることで、回帰タスクにおける予測分布の表現力と正確性を向上させること。
• 1Dおよび2Dの回帰ベンチマークで性能を維持または向上させながら、訓練速度を向上させること。
• より柔軟なコンテキスト表現学習により、NPsがモデル化できる関数の範囲を拡張すること。

提案手法

• ターゲット入力が関連するコンテキスト点に注目できるように、デコーダーにアテンション機構を導入する。アテンションはクエリ・キー・ドット積によるものである。
• コンテキスト表現に対するアテンションを適用することで、コンテキスト集合の順列不変性を保持しつつ、グローバルなコンテキスト符号化を維持する。
• NPエンコーダーにおける固定平均集約を、ターゲットに応じた関連性に基づいて動的にコンテキスト点を重み付ける学習可能なアテンション機構に置き換える。
• 複数のヘッドを用いたドット積アテンションを用いることで、コンテキストとターゲット入力間の複雑な依存関係をモデル化し、表現品質を向上させる。
• ターゲットとコンテキストのセットにおける順列不変性というNPのインダクティブバイアスを維持しつつ、動的で入力依存のアテンションを可能にする。
• 標準NPデコーダーのアーキテクチャを採用するが、ターゲット入力と注目されたコンテキスト表現の両方に条件づけることで、より正確な予測分布を実現する。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構は、特に観測済みコンテキスト点において、ニューラルプロセスにおけるアンダーフィッティング問題を緩和できるか？
• RQ2 NPsにアテンションを組み込むことで、収束速度と訓練効率が向上するか？
• RQ3 標準NPsと比較して、アテンション機構は関数のモデル化範囲をどの程度拡大できるか？
• RQ4 1Dおよび2Dの回帰タスクにおいて、ANPsの予測精度と不確実性推定の観点から、NPsと比較してどの程度優れているか？

主な発見

• ANPsは、特に1D曲線フィッティングおよび2D画像再構築タスクにおいて、標準NPsと比較してコンテキスト点における予測誤差を顕著に低減する。
• ANPsは、訓練イテレーション数およびウォールクロック時間の両面で、より速い収束を達成しており、最適化ダイナミクスの改善が示された。
• アテンション機構により、ANPsは、標準NPsが苦手とする複雑な局所的依存関係を示す関数を含む、より広範な関数族をモデル化可能になった。
• ANPsは、コンテキストおよびターゲットセットにおいて、NPsと比較してより低い負の対数尤度（NLL）を示し、より優れた予測不確実性推定を達成した。
• 関連するコンテキスト点に注目できる能力のおかげで、顔画像補完タスクなどにおいて、より一貫性があり正確な再構築が可能になった。