[論文レビュー] Interpreting Deep Learning: The Machine Learning Rorschach Test?

Adam S. Charles|arXiv (Cornell University)|Jun 1, 2018

Advanced Statistical Modeling Techniques参考文献 90被引用数 8

ひとこと要約

この論文は、深層ニューラルネットワーク（DNN）の解釈可能性を、モデルの挙動が主観的解釈に依存する『機械学習のロールシャッハテスト』として位置づけることで調査している。DNNの実証的成功にもかかわらず、一般化、 adversarial な耐性、最適化の役割に関する内部メカニズムは依然として十分に理解されていない。これは、実用的性能と理論的洞察の間にある重要なギャップを示している。

ABSTRACT

Theoretical understanding of deep learning is one of the most important tasks facing the statistics and machine learning communities. While deep neural networks (DNNs) originated as engineering methods and models of biological networks in neuroscience and psychology, they have quickly become a centerpiece of the machine learning toolbox. Unfortunately, DNN adoption powered by recent successes combined with the open-source nature of the machine learning community, has outpaced our theoretical understanding. We cannot reliably identify when and why DNNs will make mistakes. In some applications like text translation these mistakes may be comical and provide for fun fodder in research talks, a single error can be very costly in tasks like medical imaging. As we utilize DNNs in increasingly sensitive applications, a better understanding of their properties is thus imperative. Recent advances in DNN theory are numerous and include many different sources of intuition, such as learning theory, sparse signal analysis, physics, chemistry, and psychology. An interesting pattern begins to emerge in the breadth of possible interpretations. The seemingly limitless approaches are mostly constrained by the lens with which the mathematical operations are viewed. Ultimately, the interpretation of DNNs appears to mimic a type of Rorschach test --- a psychological test wherein subjects interpret a series of seemingly ambiguous ink-blots. Validation for DNN theory requires a convergence of the literature. We must distinguish between universal results that are invariant to the analysis perspective and those that are specific to a particular network configuration. Simultaneously we must deal with the fact that many standard statistical tools for quantifying generalization or empirically assessing important network features are difficult to apply to DNNs.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）の実証的成功と、その挙動に関する理論的理解の欠如との間にある根本的対立を分析すること。
• DNNが高容量および過剰パラメータ化にもかかわらずなぜうまく一般化するのかを調査すること。これは古典的一般化理論に反する現象である。
• DNNが微小で目に見えない摂動によって大きな予測誤差を引き起こす adversarial 例に対してなぜ脆弱であるかを調査すること。
• 高次元で非凸な損失関数の領域における、最適化ダイナミクスおよび学習アルゴリズムがDNNの挙動に与える影響を検討すること。
• 現在の理論的枠組みが、DNNの性能、耐性、失敗モードを信頼性を持って説明または予測できるかどうかを評価すること。

提案手法

• 統計的学習理論、関数近似、損失関数の地形解析を含む、DNNに関する既存の理論的アプローチをレビューする。
• DNNが重み共有と非線形性の設計により、proximal アルゴリズムを実装できることを示す。これは、基底追跡除去（BPDN）のような反復的最適化アルゴリズムとの関連を分析することで明らかになる。
• 非線形性と重み初期化の役割が、複雑な関数の近似を可能にする仕組みを検討し、スパースコーディングや圧縮センシングと類似する点を指摘する。
• proximal 投影フレームワークを用いて、DNNが反復的かつレイヤーワイズの計算によって正則化最適化問題（例：LASSO）の解を回復できることを形式化する。
• 重み共有とリーダル接続が反復的アルゴリズムの効率的近似を可能にする意義を検討する。
• DNN一般化に関する最近の進展をレビューする。特に情報ボトルネック理論とSGDにおける暗黙の正則化の役割を含む。

実験結果

リサーチクエスチョン

• RQ1 なぜ深層ニューラルネットワークは、高容量かつ過剰パラメータ化にもかかわらず、うまく一般化するのか？
• RQ2 DNNは、BPDN や LASSO のような既知の最適化アルゴリズムをどの程度正確に実装していると見なせるのか？
• RQ3 DNNのアーキテクチャ的選択（例：非線形性、深さ、重み共有）は、スパースコーディングや圧縮センシング問題の解法とどのように関連しているのか？
• RQ4 なぜDNNは adversarial 例に対して極めて脆弱であり、これは内部意思決定メカニズムに何を明らかにするのか？
• RQ5 現在の理論的枠組みは、DNNの挙動（耐性、一般化など）を信頼性を持って予測または説明できるのか？

主な発見

• DNNは、各層がproximalアルゴリズムの1ステップに対応する、反復的最適化アルゴリズム（例：基底追跡除去（BPDN））を実装していると解釈できる。
• proximal作用素の使用を通じて、DNNと反復的ソルバーの同等性が形式化されており、特定の非線形性と重み共有を持つDNNが正則化最適化問題を解くことができることが示されている。
• この形式的関係にもかかわらず、DNNの一般化性と耐性は、特に高次元かつ非凸な設定において依然として十分に理解されていない。
• adversarial 例は、DNNに根本的な脆さを露呈しており、微小で目に見えない入力摂動が大きな予測誤差を引き起こす。これは、信頼できる内部表現の存在を疑問視させる。
• 情報ボトルネック理論やSGDにおける暗黙の正則化といった理論的枠組みは部分的な説明を提供しているが、DNN挙動の完全な理解には至っていない。
• 本論文は、DNNが『機械学習のロールシャッハテスト』として機能すると結論づける。その解釈可能性は観察者の理論的レンズに強く依存しており、より強固で統一的な理論の構築が求められる。