[論文レビュー] Towards Binary-Valued Gates for Robust LSTM Training

Zhuohan Li, Di He+5 more|arXiv (Cornell University)|Jun 8, 2018

Topic Modeling参考文献 41被引用数 37

ひとこと要約

本稿では、Gumbel-Softmax推定器を用いてLSTMゲート出力を二値（0または1）に近づける訓練手法G²-LSTMを提案する。これにより解釈可能性と頑健性が向上する。ゲートの表現能力を制限しても、性能は同等またはそれ以上であり、低精度および低ランク近似下でも優れた汎化性能と圧縮性を示し、ゲート値は明確に言語的境界と一致する。

ABSTRACT

Long Short-Term Memory (LSTM) is one of the most widely used recurrent structures in sequence modeling. It aims to use gates to control information flow (e.g., whether to skip some information or not) in the recurrent computations, although its practical implementation based on soft gates only partially achieves this goal. In this paper, we propose a new way for LSTM training, which pushes the output values of the gates towards 0 or 1. By doing so, we can better control the information flow: the gates are mostly open or closed, instead of in a middle state, which makes the results more interpretable. Empirical studies show that (1) Although it seems that we restrict the model capacity, there is no performance drop: we achieve better or comparable performances due to its better generalization ability; (2) The outputs of gates are not sensitive to their inputs: we can easily compress the LSTM unit in multiple ways, e.g., low-rank approximation and low-precision approximation. The compressed models are even better than the baseline models without compression.

研究の動機と目的

• 標準LSTMゲートがしばしば曇った中間値（例：~0.5）を出力するため、解釈可能性と頑健性に欠ける問題に対処する。
• ゲート出力をシグモイド関数の平坦領域に配置することで、損失関数の安定で頑健な最小値に対応させる。
• 低精度および低ランク近似に対してゲートパラメータの感度を低下させることで、効率的なモデル圧縮を可能にする。
• 言語的解釈可能なゲート動作（例：機能語の忘却、節境界の検出）を実現する訓練手法を開発する。

提案手法

• ゲート出力のログオッズからベルヌーイサンプルを微分可能に近似するGumbel-Softmax推定器を活用し、離散的ゲート意思決定を逆誤差伝搬可能にする。
• 標準的なバックプロパゲーションを用いて、Gumbel-Softmax近似ゲート値でLSTMモデルを訓練し、最適化中に出力を0または1に集中させるように促進する。
• 訓練中に温度スケーリングを適用し、ゲート出力を鋭くすることで、二値状態への収束を促進する。
• 得られたG²-LSTMモデルを、低精度および低ランク圧縮技術の基盤として用いる。
• ヒストグラム解析およびタイムステップにわたる注目メカニズムに類似したゲート活性パターンの事例研究により、ゲート動作を評価する。

実験結果

リサーチクエスチョン

• RQ1 ゲート出力を0または1に近づける訓練により、性能に劣化を来さず解釈可能性と汎化性能が向上するか？
• RQ2 ゲート出力を二値化することで、低精度および低ランク近似といったパラメータ圧縮技術下でもLSTMモデルの頑健性が向上するか？
• RQ3 G²-LSTMで学習されたゲート値は、節境界や機能語の抑制といった意味的な言語的構造と一致するか？
• RQ4 Gumbel-Softmaxに基づく訓練手法は、シグモイド関数の端末領域へのゲート出力の押し込みに有効か？

主な発見

• G²-LSTMは、ゲート出力をほぼ0またはほぼ1に制限しているにもかかわらず、言語モデリングおよび機械翻訳タスクで標準LSTMと同等または優れた性能を達成する。
• IWSLT14ドイツ語→英語翻訳タスクにおいて、G²-LSTMはランク64の低ランク近似下でも困惑度56.0を維持するが、ベースラインモデルは困惑度65.5に上昇し、24%の劣化を示す。
• 機械翻訳タスクにおいて、G²-LSTMはランク16の圧縮でも、完全精度ベースラインと同等の翻訳品質を達成しており、圧縮に対する強い頑健性を示す。
• ゲート値のヒストグラムでは、G²-LSTMのゲートは0または1に集中している一方、標準LSTMは0.5周辺で一様分布を示す。
• 事例研究により、G²-LSTMの入力ゲートは内容語（例：'wrong'）に対して高い値を維持するが、機能語および節境界では忘れゲートが低くなることが判明し、意味的な言語的行動を示している。