[論文レビュー] Visualizing Deep Neural Networks for Speech Recognition with Learned Topographic Filter Maps

Andreas Krug, Sebastian Stober|arXiv (Cornell University)|Dec 6, 2019

Neural Networks and Applications参考文献 6被引用数 4

ひとこと要約

この論文は、学習中の隣接フィルタ間の空間的類似性を強制することで、音声認識における深層ニューラルネットワークにおけるトポグラフィックなフィルタマップの学習を提案する。これにより、ニューロン活性化の可視化がトポグラフィックマップとしてより直感的に行えるようになる。主な貢献は、音声素反応を示すニューロンが局所化されているのではなく、複数の領域に散らばっていることの実証であり、これは解釈可能性を制限するが、視覚的直感は向上する。

ABSTRACT

The uninformative ordering of artificial neurons in Deep Neural Networks complicates visualizing activations in deeper layers. This is one reason why the internal structure of such models is very unintuitive. In neuroscience, activity of real brains can be visualized by highlighting active regions. Inspired by those techniques, we train a convolutional speech recognition model, where filters are arranged in a 2D grid and neighboring filters are similar to each other. We show, how those topographic filter maps visualize artificial neuron activations more intuitively. Moreover, we investigate, whether this causes phoneme-responsive neurons to be grouped in certain regions of the topographic map.

研究の動機と目的

• 深層ニューラルネットワークの層におけるニューロンの直感的でない、並び替えられた順序が、活性化の視覚的解釈を困難にしている問題に対処すること。
• 通常はEEGで用いられる神経科学にインspiredされたトポグラフィックマッピング技術を、人工ニューラルネットワークの活性化をより直感的に可視化するために適応すること。
• 音声素反応を示すニューロンが、学習された2次元フィルタマップの特定の領域にクラスタリングするかどうかを調査すること。
• トポグラフィック構造が、最適化された入力生成を通じて、より解釈可能な特徴の可視化を可能にするかどうかを評価すること。

提案手法

• 各畳み込み層（例：256フィルタに対して16×16、2048フィルタに対して64×32）に2次元グリッドを定義し、フィルタに空間的構造を強制する。
• 中心からの逆ユークリッド距離に重み付けされた3×3近傍内の各フィルタとその近隣との類似性を促進する正則化損失を適用する。
• 隣接フィルタの重み間のコサイン類似度を最小化することで、トポグラフィックな組織化を促進しつつ、モデル性能を維持する。
• 勾配調整済みニューロン活性化プロファイル（GradNAPs）を用いて、同じ音声素または字素グループの入力の活性化を平均化し、ベースライン正規化を行う。
• 最も反応が良い3×3領域に対して、活性化最大化（Yosinski et al., 2015）を用いて最適な入力を生成する。これは単一フィルタおよび結合された近隣領域の両方で行う。
• 視覚的解釈可能性を向上させるために、非ストライド3×3平均プーリングを用いて滑らかなトポグラフィックマップを作成する。

実験結果

リサーチクエスチョン

• RQ1 深層音声認識ネットワークにおける音声素反応ニューロンは、学習された2次元フィルタマップの特定の領域に集まっているか？
• RQ2 トポグラフィックなフィルタマップは、標準的な順序なし層可視化と比較して、人工ニューロン活性化の視覚的解釈性を向上させることができるか？
• RQ3 音声素の分散表現が、トポグラフィックマップの複数の領域にわたってどれほど保持されているか？
• RQ4 最も反応の良い領域に対して入力を最適化すると、解釈可能な、音声素特有のパターンが得られるか？

主な発見

• 音声素反応ニューロンは、1つの領域に局在しているのではなく、トポグラフィックマップの複数の領域に散らばっており、分散表現を示している。
• GradNAPsによって特定された最も反応の良い領域は、同じ音声素に対して強い活性化を示す他の多くの領域を欠いていることが多く、全体の分散表現を捉えていない。
• スムージングなしでグリッド上に活性化を可視化すると、滑らかでない、解釈が難しいパターンが得られるが、3×3ウィンドウでの平均プーリングにより視覚的に整合性のあるトポグラフィックマップが得られる。
• 最も反応の良い領域内の個々のフィルタに対して入力を最適化しても、明確な音声素特有のパターンは得られず、これは表現が1つのフィルタや小さなクラスタに局在していないことを示唆している。
• 現在のトポグラフィック正則化戦略は、十分な表現スパarsityを強制しておらず、特徴はマップの多くの領域に広がったままである。
• 本研究は、トポグラフィックマップが視覚的直感を向上させることを結論づけるが、局所化され、解釈可能な特徴を得るためには、活性化に対するより強い正則化、あるいはグローバル類似度ペナルティの導入が不可欠であると結論づける。