[論文レビュー] Adaptive wavelet distillation from neural networks through interpretations

Woo‐Seok Ha, Chandan Singh+3 more|arXiv (Cornell University)|Jul 19, 2021

Machine Learning in Materials Science参考文献 2被引用数 20

ひとこと要約

本稿では、特徴量の寄与度を活用して、学習可能で解釈可能なウェーブレット変換に、事前に訓練された深層ニューラルネットワークからの予測知識を蒸留する手法、適応的ウェーブレット蒸留（AWD）を提案する。AWDは、予測性能が高く、計算効率が良く、科学的に解釈可能なモデルを生成し、宇宙論的パラメータ推定および分子パートナーピン留めにおいて、最先端のニューラルネットワークを上回る性能を発揮する。また、収束マップにおける高強度ピークやクラシトリンのダイナミクスといったドメイン関連特徴を特定する。

ABSTRACT

Recent deep-learning models have achieved impressive prediction performance, but often sacrifice interpretability and computational efficiency. Interpretability is crucial in many disciplines, such as science and medicine, where models must be carefully vetted or where interpretation is the goal itself. Moreover, interpretable models are concise and often yield computational efficiency. Here, we propose adaptive wavelet distillation (AWD), a method which aims to distill information from a trained neural network into a wavelet transform. Specifically, AWD penalizes feature attributions of a neural network in the wavelet domain to learn an effective multi-resolution wavelet transform. The resulting model is highly predictive, concise, computationally efficient, and has properties (such as a multi-scale structure) which make it easy to interpret. In close collaboration with domain experts, we showcase how AWD addresses challenges in two real-world settings: cosmological parameter inference and molecular-partner prediction. In both cases, AWD yields a scientifically interpretable and concise model which gives predictive performance better than state-of-the-art neural networks. Moreover, AWD identifies predictive features that are scientifically meaningful in the context of respective domains. All code and models are released in a full-fledged package available on Github (https://github.com/Yu-Group/adaptive-wavelets).

研究の動機と目的

• 科学的応用における深層ニューラルネットワークの解釈可能性と計算効率を向上させる手法を開発すること。
• ウェーブレットに基づく蒸留を通じて、高性能なブラックボックスモデルと本質的に解釈可能なモデルの間のギャップを埋めること。
• 宇宙論および細胞生物学分野のドメインエキスパートと協働することで、解釈可能性を現実の科学的問題に根ざさせること。
• 予測性能と科学的に意味のある特徴を併せ持つモデルを構築すること。特に、ドメイン固有の理論に関連する特徴を特定すること。
• 特徴量の寄与度に基づく最適化により、蒸留されたウェーブレットモデルが、標準ウェーブレットや深層ネットワークを上回る予測性能と圧縮性能を達成できることを示すこと。

提案手法

• 事前に訓練されたDNNからの類似度ベースの特徴量寄与度を用いて、ウェーブレット領域におけるウェーブレット変換の学習を誘導する。
• 予測に関連する特徴を捉えるように、ウェーブレット領域における寄与度をペナルティ化することで、ウェーブレット変換を最適化する。
• 信号の忠実性と解釈可能性を維持するため、再構成誤差とウェーブレット制約（例：直交性、マルチスケール構造）を強制する。
• DNNの寄与度マップを教師信号として用い、ウェーブレットフィルタの勾配降下法による最適化を実施する。
• 得られたウェーブレット変換は、1層構造で、適応的かつ学習可能な変換であり、入力のスパarsなマルチスケール表現を形成する。
• ウェーブレット活性化マップの可視化が可能となり、予測情報が入力のどの領域に集中しているかを特定できる。

実験結果

リサーチクエスチョン

• RQ1 我々は、解釈可能でかつ元のモデルより効率的なウェーブレット変換に、深層ニューラルネットワークの予測知識を蒸留できるか？
• RQ2 教師DNNからの寄与度信号を用いて、ウェーブレットベースのモデルをデータおよび予測タスクに適応させることは可能か？
• RQ3 AWDは、宇宙論的ピークやクラシトリンのダイナミクスといった、現実の科学的問題において科学的に意味のある特徴を特定できるか？
• RQ4 特徴量の寄与度に基づく蒸留により、標準ウェーブレットや深層ネットワークよりも優れた予測性能と圧縮性能を達成できるか？
• RQ5 寄与度に基づく最適化を用いることで、ウェーブレット特徴とドメイン固有の物理的・生物学的メカニズムとの整合性が向上するか？

主な発見

• 宇宙論的パラメータ推定において、AWDはRMSE 1.029 × 10⁻²を達成し、ResNet（1.156 × 10⁻²）および標準ウェーブレット（1.569 × 10⁻²）を上回った。
• AWDウェーブレットモデルは圧縮率0.610を達成し、DB5ウェーブレット（0.620）を上回り、より効率的な信号表現を可能にした。
• 学習されたウェーブレットフィルタは対称的であり、宇宙論で用いられるマッチドフィルタに類似しており、ピーク検出に向けた既知の物理的原則と整合していることが示された。
• ウェーブレット活性化マップは、収束マップにおける高強度ピークに集中していることを明らかにした。これは、宇宙論的情報含量に関する理論的期待と一致した。
• 分子パートナーピン留めにおいて、AWDはクラシトリンのダイナミクスを予測に寄与する特徴として特定した。これは、遅い蓄積と崩壊の生物学的メカニズムと整合的であった。
• 両分野において、AWDモデルは標準ウェーブレットおよび深層ニューラルネットワークの両方の代替手段として、簡潔で解釈可能かつより効率的な選択肢を提供した。