[論文レビュー] On Predictive Information in RNNs

Zhe Dong, Deniz Oktay+2 more|arXiv (Cornell University)|Oct 21, 2019

Neural Networks and Applications参考文献 26被引用数 4

ひとこと要約

この論文は、再帰的ニューラルネットワーク（RNNs）が、将来のシーケンスに対する予測力を維持しながら、過去の情報を最適に圧縮するかを調査し、標準的なRNNが不要な過去の情報を過剰に抽出していることを発見した。隠れ状態にノイズを注入することで情報量を制約することで、著者たちは予測精度、尤度、および下流分類タスクにおけるRNNの性能を向上させた。特にデータが少ない状況において顕著であり、情報ボトルネック正則化がモデルの効率性と一般化性能を向上させることを示した。

ABSTRACT

Certain biological neurons demonstrate a remarkable capability to optimally compress the history of sensory inputs while being maximally informative about the future. In this work, we investigate if the same can be said of artificial neurons in recurrent neural networks (RNNs) trained with maximum likelihood. Empirically, we find that RNNs are suboptimal in the information plane. Instead of optimally compressing past information, they extract additional information that is not relevant for predicting the future. We show that constraining past information by injecting noise into the hidden state can improve RNNs in several ways: optimality in the predictive information plane, sample quality, heldout likelihood, and downstream classification performance.

研究の動機と目的

• 最大尤度で訓練されたRNNが、生物学的ニューロンと同様に、将来の予測に必要な情報を最適に圧縮しているかどうかを検証すること。
• ホールドアウトセットを用いて、RNNと最適モデルにおける相互情報量推定の正確さを評価すること。
• RNNの隠れ状態にノイズを注入して情報量を制約することで、予測タスクおよび下流タスクにおけるRNN性能が向上するかどうかを調査すること。
• 情報平面における過去の情報保持と将来の予測可能性のトレードオフを調査すること。
• 情報制約が実世界のスケッチデータセットにおけるサンプル品質、ホールドアウト尤度、分類精度に与える影響を評価すること。

提案手法

• 変分相互情報量推定器を用いて、過去と未来のシーケンスセグメント間の相互情報量として予測情報量を測定する。
• RNNの隠れ状態にノイズを注入することで、保持される過去の情報量を制約し、表現を実際に正則化する戦略を採用する。
• 情報ボトルネックラグランジュアンを用いて、情報平面における過去と未来の情報量の最適なトレードオフフロンティアを追跡する。
• さまざまなデータセットサイズとノイズレベルを用いて、QuickDrawスケッチデータセット上でクラス条件付きRNNを訓練し、一般化性能と性能を評価する。
• ナイーブベイズ分類器を用いて、ホールドアウト尤度と下流分類精度を評価する。
• ホールドアウトセットを用いて相互情報量推定値を検証し、ガウス過程の解析的最適モデルとRNNを比較する。

実験結果

リサーチクエスチョン

• RQ1 最大尤度で訓練されたRNNは、将来の予測に必要な情報を最適に圧縮しながら、将来の情報を最大限に情報化しているか？
• RQ2 RNNの隠れ状態にノイズを注入することで、過去の情報保持と将来の予測可能性のバランスにどのような影響を与えるか？
• RQ3 情報制約が、データが少ない状況におけるホールドアウト尤度とサンプル品質をどの程度向上させるか？
• RQ4 過去の情報を制限することで、実世界の順序データにおける下流分類性能が向上するか？
• RQ5 異なる訓練目的およびアーキテクチャ的選択が、RNNが情報平面で占める位置に与える影響はいかほどか？

主な発見

• 最大尤度で訓練されたRNNは情報平面において非効率であり、将来の予測に不要なほど過去の情報を過剰に抽出している。
• RNNの隠れ状態にノイズを注入することで、小さなスケッチデータセット（例：100例/クラス）においてホールドアウト尤度が向上し、一般化性能が向上することが示された。
• 情報制約は下流分類精度を向上させ、特にデータが少ない状況で顕著であり、11のスケッチクラスすべてで改善が観察された。
• 最大5,000例/クラスのデータでも、ノイズ注入によるRNNの圧縮が可能であり、ホールドアウト尤度に損なわれることなく、情報削減に対して頑健であることが示された。
• 標準的なRNNでは、過去と未来の情報量の最適なトレードオフは達成されないが、明示的な情報ボトルネック正則化によって近づけることができる。
• ホールドアウトセットを用いた相互情報量推定が、RNNにおける情報理論的性能の正確な評価に不可欠であることが検証された。