[論文レビュー] Regularizing Towards Permutation Invariance in Recurrent Models

Edo Cohen-Karlik, Avichai Ben David+1 more|arXiv (Cornell University)|Oct 25, 2020

Computational Geometry and Mesh Generation参考文献 20被引用数 7

ひとこと要約

本論文は、再帰的ニューラルネットワーク（RNN）に順序不変性を導入するための新しい正則化手法、サブセット不変性正則化（SIRE）を提案する。これにより、非再帰的アーキテクチャに比べてパラメータ数を削減しつつ、集合ベースの関数をモデル化できる。入力サブセットの順序変更に対して出力が変化するのをペナルティ化することで、SIREは合成データおよび実世界のデータセットにおいて優れた性能を発揮し、特に従来の手法が失敗する半順序不変設定でも優れた結果を示す。

ABSTRACT

In many machine learning problems the output should not depend on the order of the input. Such "permutation invariant" functions have been studied extensively recently. Here we argue that temporal architectures such as RNNs are highly relevant for such problems, despite the inherent dependence of RNNs on order. We show that RNNs can be regularized towards permutation invariance, and that this can result in compact models, as compared to non-recurrent architectures. We implement this idea via a novel form of stochastic regularization. Existing solutions mostly suggest restricting the learning problem to hypothesis classes which are permutation invariant by design. Our approach of enforcing permutation invariance via regularization gives rise to models which are extit{semi permutation invariant} (e.g. invariant to some permutations and not to others). We show that our method outperforms other permutation invariant approaches on synthetic and real world datasets.

研究の動機と目的

• 機械学習における順序不変関数の学習という課題に取り組むこと、特にデータに部分的または完全な不変性がない場合を想定する。
• RNNは本質的に順序依存であるが、効果的な正則化によって順序不変性を達成できることを示すこと。
• 完全な不変性が不要または不可能な状況に適用可能な、ソフトな正則化アプローチを提案すること。
• SIRE正則化を施したRNNが、標準RNNおよび完全に不変なアーキテクチャ（例：DeepSets）に比べて、データ収集効率と精度の面で優れていることを示すこと。
• SIREを用いて、入力の順序構造を活用することで、半教師あり設定における未ラベルデータの利用を可能にすること。

提案手法

• 入力のサブセットの順序変更に対して出力が変化するのをペナルティ化する、SIRE（サブセット不変性正則化）と呼ばれる新しい正則化項を提案する。特に、入力のサブセットに注目する。
• 正則化損失を、入力サブセットのすべての順序変更における予測の平均差分として定義し、訓練中にこの差を最小化することを目的とする。
• 確率的勾配降下法を用いて、標準的なRNN損失に加えてSIRE正則化項を最適化し、入力順序に対して頑健な状態を学習できるようにする。
• SIREをRNN、LSTM、GRUに適用し、さまざまな再帰的アーキテクチャにわたる有効性を実証する。
• SIREにより、特にパリティ関数のような複雑な関数に対して、DeepSetsに比べて大幅に少ないパラメータ数で順序不変関数を学習できることを示す。
• 局所的に摂動させたデータ（例：局所的に摂動させたMNIST）に対して動作するSIREの変種を導入し、部分的不変性を持つ設定でも有効であることを示す。

実験結果

リサーチクエスチョン

• RQ1 RNNは、アーキテクチャの変更なしに、効果的に順序不変性を達成できるか？
• RQ2 SIRE正則化は、DeepSetsのような完全に不変なアーキテクチャに比べて、パラメータ効率と性能の面でどのように異なるか？
• RQ3 SIREは、完全な不変性が不適切または達成不可能な半順序不変問題に適用可能か？
• RQ4 SIRE正則化は、特にデータが少ない状況において、最適化の安定性と一般化性能を向上させるか？
• RQ5 SIREは、元々順序構造を内蔵する未ラベルデータを活用することで、半教師あり学習に応用可能か？

主な発見

• SIRE正則化により、RNNの順序不変タスクにおける性能が顕著に向上し、局所的に摂動させたMNISTでは0.977のテスト精度を達成した。一方、標準GRUでは0.833にとどまる。
• 正則化を施したRNNは、標準RNNを上回り、合成パリティ関数および集合分類タスクにおいてDeepSetsと同等またはそれを上回る性能を示した。
• パリティ関数のケースでは、SIRE正則化を施したRNNはO(1)のパラメータ数で十分であるのに対し、DeepSetsはO(n)のパラメータ数を要する。これは、顕著なサンプル複雑性の優位性を示している。
• SIREは、局所的に摂動させたMNISTのような部分的不変データのモデリングにも効果的に機能し、CNNでは0.963、標準RNNでは0.833の精度にとどまるが、SIRE正則化RNNでは0.977に到達した。
• SIREは、サブセットの順序変更を考慮するため、Murphyらのサブサンプリングされた順序変更アプローチよりもスケーラブルであり、指数的計算量を回避し、より大きな集合サイズに対しても効率的に動作する。
• 実験的結果から、SIRE正則化は、短く安定したシーケンスで動作するため、消失勾配問題の緩和に寄与し、最適化を改善する可能性があると考えられる。