[論文レビュー] Visualizing the decision-making process in deep neural decision forest

Shichao Li, Kwang‐Ting Cheng|arXiv (Cornell University)|Apr 19, 2019

Advanced Neural Network Applications参考文献 10被引用数 4

ひとこと要約

本稿では、分類および回帰の両タスクにおける深層ニューラル意思決定フォレスト（NDF）の意思決定プロセスを解釈するための可視化フレームワークを提案する。勾配に基づくサリエンシー・マップを計算し、ルーティング確率分布を分析することで、NDFが予測に顕著に寄与する少数の計算パスに限定される意思決定的行動を示すことを実証した。これは、回帰分野においてはこれまで未解決であった分野での解釈可能性の妥当性を裏付けている。

ABSTRACT

Deep neural decision forest (NDF) achieved remarkable performance on various vision tasks via combining decision tree and deep representation learning. In this work, we first trace the decision-making process of this model and visualize saliency maps to understand which portion of the input influence it more for both classification and regression problems. We then apply NDF on a multi-task coordinate regression problem and demonstrate the distribution of routing probabilities, which is vital for interpreting NDF yet not shown for regression problems. The pre-trained model and code for visualization will be available at https://github.com/Nicholasli1995/VisualizingNDF

研究の動機と目的

• 分類および回帰の両タスクにおいて、勾配に基づくサリエンシー・マップを用いて深層ニューラル意思決定フォレスト（NDF）の意思決定プロセスを可視化すること。
• NDFが分類と同様に回帰タスクにおいても意思決定的ルーティング行動を示すかどうかを調査すること。
• 顔のランドマーク検出を事例として、多タスクな座標回帰におけるNDFの解釈可能性を示すこと。
• 再現可能性およびさらなる研究を促進するため、オープンソースのコードおよび事前学習済みモデルを提供すること。

提案手法

• 入力画像に対してルーティング確率の勾配を逆伝播することでサリエンシー・マップを計算し、ルーティング意思決定に最も影響を与える領域を強調表示する。
• 各分割ノードが微分可能関数を用いてルーティング確率を計算する微分可能ソフトルーティング機構を採用する。
• 最終的な予測は、パスに沿ったルーティング確率の積によって重み付けられたリーフノード出力の凸結合として形成される。
• 回帰タスクでは、NDFの段階的スタックを用いて顔のランドマーク座標を反復的に修正し、各段階で形状の更新量を予測する。
• モデルの意思決定性（すなわち、ルーティング確率が0または1に集中しているか）を評価するために、推薦スコアの分布を可視化する。
• 共有された特徴抽出器を有する完全な2分木アーキテクチャを採用し、すべてのパラメータを逆伝播により最適化する。

実験結果

リサーチクエスチョン

• RQ1 MNISTおよびCIFAR-10におけるサリエンシー・マップは、NDFのルーティング意思決定に最も影響を与える入力領域がどこかをどのように明らかにするか？
• RQ2 分類タスクと同様に、回帰タスクにおいてもNDFのルーティング確率分布を可視化および分析できるか？
• RQ3 NDFは回帰タスクにおいても、最終予測に顕著に寄与する少数のパスに限定される意思決定的ルーティング行動を示すか？
• RQ4 推論中に、異なる層および分割ノードでモデルの意思決定プロセスはどのように変化するか？

主な発見

• MNISTおよびCIFAR-10におけるサリエンシー・マップは、フォアグラウンド領域および特定の画像部位がルーティング意思決定に最も影響を与えていることを示しており、人間の直感および先行するCNN可視化研究と整合的である。
• ルーティング確率が不確実な場合、モデルは犬を鳥と誤分類する。これは、意思決定の信頼性と予測の信頼性が相関していることを示唆している。
• 3DFAW顔ランドマーク回帰タスクにおいて、推薦スコアの分布は0および1の近辺にピークを示しており、分類と同様に意思決定的ルーティング行動が確認された。
• 回帰用のサリエンシー・マップでは、分割ノードごとに強調される領域が変化しており、逐次的なルーティング中に顔の異なる部位に焦点が当たっていることが示された。
• ResNet50を用いたMNISTでは99.3%、CIFAR-10では93.4%の精度を達成しており、優れた性能を発揮しながらも、解釈可能性を維持している。
• 可視化用の事前学習済みモデルおよびコードはGitHubで公開されており、再現性およびさらなる分析を可能としている。