[논문 리뷰] Visualizing the decision-making process in deep neural decision forest

Shichao Li, Kwang‐Ting Cheng|arXiv (Cornell University)|2019. 04. 19.

Advanced Neural Network Applications참고 문헌 10인용 수 4

한 줄 요약

이 논문은 분류 및 회귀 작업 모두에서 딥 네URAL 디시전 포레스트(NDF)의 의사결정 과정을 해석하기 위한 시각화 프레임워크를 제안한다. 기울기 기반 중요도 맵을 계산하고 라우팅 확률 분포를 분석함으로써, 저자들은 NDF가 예측에 크게 기여하는 계산 경로가 몇 개에 불과하는 결정적인 행동을 보임을 입증한다. 이는 이전에 탐색되지 않은 분야인 회귀 분석에서의 해석 가능성에 대한 검증을 제공한다.

ABSTRACT

Deep neural decision forest (NDF) achieved remarkable performance on various vision tasks via combining decision tree and deep representation learning. In this work, we first trace the decision-making process of this model and visualize saliency maps to understand which portion of the input influence it more for both classification and regression problems. We then apply NDF on a multi-task coordinate regression problem and demonstrate the distribution of routing probabilities, which is vital for interpreting NDF yet not shown for regression problems. The pre-trained model and code for visualization will be available at https://github.com/Nicholasli1995/VisualizingNDF

연구 동기 및 목표

• 분류 및 회귀 작업 모두에서 기울기 기반 중요도 맵을 사용하여 딥 네URAL 디시전 포레스트(NDF)의 의사결정 과정을 시각화하는 것.
• NDF가 분류 작업에서 관찰된 것과 유사하게 회귀 작업에서도 결정적인 라우팅 행동을 유지하는지 조사하는 것.
• 얼굴 랜드마크 검출을 사례 연구로 삼아 다중 작업 좌표 회귀에서 NDF의 해석 가능성에 대한 실증을 제공하는 것.
• 재현성과 향후 연구를 위해 오픈소스 코드와 사전 훈련된 모델을 제공하는 것.

제안 방법

• 입력 이미지에 대한 라우팅 확률의 기울기를 역전파하여 중요도 맵을 계산함으로써, 라우팅 결정에 가장 영향을 미치는 영역을 강조한다.
• 모든 분할 노드가 미분 가능한 추천 함수를 통해 라우팅 확률을 계산하는 미분 가능한 소프트-라우팅 메커니즘을 사용한다.
• 최종 예측은 경로를 따라 누적된 라우팅 확률의 곱으로 가중된 리프 노드 출력의 볼록 조합으로 형성된다.
• 회귀 작업에서는 NDF의 캐스케이드를 사용하여 얼굴 랜드마크 좌표를 반복적으로 개선하며, 각 단계에서 형태의 수정량을 예측한다.
• 모델의 결정성 평가를 위해 추천 점수의 분포를 시각화하며, 즉 라우팅 확률이 0 또는 1에 집중되는지 분석한다.
• 공유된 특징 추출기와 함께 전체 이진 트리 아키텍처를 사용하며, 모든 파라미터는 역전파를 통해 최적화된다.

실험 결과

연구 질문

• RQ1 기울기 기반 중요도 맵은 NDF의 분류 작업에서 라우팅 결정에 가장 영향을 미치는 입력 영역을 어떻게 드러내는가?
• RQ2 분류 작업에서 관찰된 것과 유사하게, NDF의 라우팅 확률 분포를 회귀 작업에서도 시각화하고 분석할 수 있는가?
• RQ3 NDF는 회귀 작업에서도 예측에 크게 기여하는 경로가 몇 개에 불과한 결정적인 라우팅 행동을 보이는가?
• RQ4 추론 과정에서 라우팅의 의사결정 과정이 다양한 레이어와 분할 노드 간에 어떻게 달라지는가?

주요 결과

• MNIST 및 CIFAR-10에 대한 중요도 맵은 전경 영역과 특정 이미지 부분이 라우팅 결정에 가장 큰 영향을 미친다는 것을 보여주며, 인간의 직관과 이전의 CNN 시각화 연구 결과와 일치한다.
• 라우팅 확률이 불확실할 경우 모델은 개를 새로 잘못 분류함을 확인하여, 의사결정 신뢰도가 예측의 신뢰성과 관련이 있음을 시사한다.
• 3DFAW 얼굴 랜드마크 회귀 작업에서 추천 점수의 분포가 0과 1 근처에 집중되어 있어, 분류 작업과 유사한 결정적인 라우팅 행동을 보임을 확인하였다.
• 회귀 작업의 중요도 맵은 분할 노드 간에 다른 영역이 강조되는 경향을 보이며, 순차적 라우팅 과정에서 얼굴의 다른 부분에 동적으로 초점을 맞춘다는 것을 나타낸다.
• ResNet50를 사용하여 MNIST에서 99.3%의 정확도와 CIFAR-10에서 93.4%의 정확도를 달성하여 뛰어난 성능를 유지하면서도 해석 가능성도 확보하였다.
• 시각화를 위한 사전 훈련된 모델과 코드는 GitHub에 공개되어 있어 재현성과 향후 분석을 가능하게 한다.