[논문 리뷰] SegNBDT: Visual Decision Rules for Segmentation

Alvin Wan, Daniel E. Ho외 4명|arXiv (Cornell University)|2020. 06. 11.

Machine Learning and Data Classification참고 문헌 31인용 수 4

한 줄 요약

SegNBDT는 신경망과 결정트리의 하이브리드 모델로, 의미적 세분화에 대해 최첨단의 정확도를 달성하면서도 인간이 이해할 수 있는 시각적 결정 규칙(예: '창문이 있는가?')을 생성하는 모델이다. 이는 개조된 활성도 분석 방법과 신경망 기반 결정트리(NBDT)를 통해 이루어지며, 밀도 높은 예측 작업에서 높은 성능과 해석 가능성의 조화를 이룬다. 이는 HRNetV2와 비슷한 수준의 성능(약 2–4% 이내)을 달성한다.

ABSTRACT

The black-box nature of neural networks limits model decision interpretability, in particular for high-dimensional inputs in computer vision and for dense pixel prediction tasks like segmentation. To address this, prior work combines neural networks with decision trees. However, such models (1) perform poorly when compared to state-of-the-art segmentation models or (2) fail to produce decision rules with spatially-grounded semantic meaning. In this work, we build a hybrid neural-network and decision-tree model for segmentation that (1) attains neural network segmentation accuracy and (2) provides semi-automatically constructed visual decision rules such as "Is there a window?". We obtain semantic visual meaning by extending saliency methods to segmentation and attain accuracy by leveraging insights from neural-backed decision trees, a deep learning analog of decision trees for image classification. Our model SegNBDT attains accuracy within ~2-4% of the state-of-the-art HRNetV2 segmentation model while also retaining explainability; we achieve state-of-the-art performance for explainable models on three benchmark datasets -- Pascal-Context (49.12%), Cityscapes (79.01%), and Look Into Person (51.64%). Furthermore, user studies suggest visual decision rules are more interpretable, particularly for incorrect predictions. Code and pretrained models can be found at https://github.com/daniel-ho/SegNBDT.

연구 동기 및 목표

• 의미적 세분화와 같은 밀도 높은 예측 작업에서 고정확도 딥 러닝 모델의 해석 가능성 부족 문제를 해결한다.
• 입력 픽셀에만 초점을 맞추는 후행적 설명 방법(예: 활성도 맵)의 한계를 극복한다. 이러한 방법들은 모델의 내부 결정 과정을 간과한다.
• 최첨단 신경망 수준의 경쟁력 있는 정확도를 유지하면서도 의미적으로 유의미하고 공간적으로 기반을 둔 시각적 결정 규칙을 생성하는 세분화 모델을 개발한다.
• 활성도 분석에서 유도된 투명한 규칙 기반 추론을 통해 전문가와 사용자가 올바른 예측뿐 아니라 잘못된 예측도 해석할 수 있도록 한다.
• 딥 러닝의 고정확도와 결정트리와 같은 본질적으로 해석 가능한 모델 간 격차를 메우기 위해, 통합적이고 엔드 투 엔드로 학습 가능한 프레임워크에 통합한다.

제안 방법

• 의미적 세분화를 위한 신경망 기반 결정트리(NBDT) 아키텍처인 SegNBDT를 제안한다. 이는 가중치 공간에서 결정 규칙을 학습하며, 딥 페처와 트리 기반 추론을 융합한다.
• 의미적 세분화에 적합한 활성도 분석 방법을 개선하기 위해, 임의의 픽셀에서 활성도를 쿼리할 수 있는 공간 기반의 Grad-CAM 변형인 Gradient-weighted Pixel Activation Mapping (Grad-PAM)을 도입한다.
• 의미적으로 인식 가능한 영역 제거 기법인 Semantic Input Removal (SIR)을 제안한다. 이는 클래스 의미에 기반해 이미지 영역을 제거하여 특징 중요도를 평가한다.
• 최소 필요 조건(Minimum Required Context, MRC)을 도입하여 효과적 수신장(field)을 정교화하고 트리 내 각 결정에 필요한 최소 입력 조건을 규명한다.
• 외부 데이터셋에서 제공하는 세분화 레이블을 활용해 활성도 분석을 지도함으로써, 다양한 클래스에서 모델 행동을 더 잘 이해할 수 있도록 한다.
• 트리 노드의 활성도 맵을 분석하여 시각적 결정 규칙을 구성한다. 이를 통해 '자동차 분류에 바퀴에 초점을 맞추라' 또는 '긴 차량을 식별하려면 창문을 확인하라'와 같은 규칙을 도출한다.

실험 결과

연구 질문

• RQ1 신경망과 결정트리의 하이브리드 모델은 경쟁력 있는 세분화 정확도를 달성하면서도 의미적으로 유의미한 인간이 이해할 수 있는 시각적 결정 규칙을 생성할 수 있는가?
• RQ2 활성도 분석 방법은 어떻게 의미적 세분화 작업에 적합하게 개선될 수 있는가? 특히 픽셀 수준의 기여도가 아닌 공간적·의미적 기반의 결정 규칙을 생성할 수 있는가?
• RQ3 시각적 결정 규칙은 기존의 Grad-CAM과 같은 활성도 맵에 비해 잘못된 예측에 대한 해석 가능성에서 얼마나 향상되는가?
• RQ4 활성도 기반 분석을 결정트리 프레임워크에 통합함으로써, 후행적 설명 방법보다 더 검증 가능하고 일관된 설명을 얻을 수 있는가?
• RQ5 SegNBDT의 성능은 HRNetV2와 같은 최첨단 모델과 비교해 표준 벤치마크에서 정확도와 해석 가능성 측면에서 어떻게 비교되는가?

주요 결과

• SegNBDT는 세 가지 기준 벤치마크 데이터셋에서 해석 가능한 모델 중 최첨단 성능을 달성했다: Pascal-Context에서 49.12% mIoU, Cityscapes에서 79.01%, Look Into Person에서 51.64%.
• 이 모델은 최첨단 HRNetV2 기준보다 약 2–4% 이내의 정확도를 확보하여, 세분화 작업에서 고정확도와 해석 가능성의 조화가 가능하다는 것을 입증한다.
• 사용자 연구 결과, 59.9%의 참가자가 예측을 해석할 때 SegNBDT의 시각적 결정 규칙을 Grad-CAM보다 선호했으며, 잘못된 예측의 경우 80.0%가 이를 선호했다.
• Grad-PAM은 공간적으로 일관되고 의미적으로 유의미한 활성도 패턴을 드러낸다. 깊이 있는 노드는 더 구체적인 특징(예: 자전거 타는 사람 vs. 일반적인 사람)에 집중하며, 서로 다른 트리 경로는 서로 다른 시각적 개념에 주목한다.
• SIR는 분류에 있어 의미적으로 중요한 부분을 규명한다. 예를 들어, 자동차와 비자전거를 구분할 때 헤드라이트가 가장 중요하지만, 창문과 같이 공유되는 부분은 영향력이 낮다.
• 연속된 결정 규칙에 대한 활성도 맵은 항상 축소되지는 않는다. 일부 경우에서는 확장되거나 초점이 이동한다(예: 보도를 식별하기 위해 도로 특징을 추가함). 이는 트리 레벨 간의 동적 추론을 보여준다.