[논문 리뷰] Explain to Fix: A Framework to Interpret and Correct DNN Object Detector Predictions

Denis Gudovskiy, Alec Hodgkinson외 3명|arXiv (Cornell University)|2018. 11. 19.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 DNN 객체 검출기 예측을 해석하고 수정하기 위한 고정밀도, 계산적으로 효율적인 프레임워크인 Explain to Fix (E2X)를 제안한다. E2X는 기울기 기반 역전파를 사용하여 SHAP 기능 중요도 값을 근사화한다. E2X는 이전 방법 대비 10배 빠른 추론 성능을 달성하여 대규모 데이터셋의 확장 가능한 분석을 가능하게 하며, 재학습을 통해 모델의 강건성을 향상시키기 위해 부족한 훈련 특징을 식별할 수 있다.

ABSTRACT

Explaining predictions of deep neural networks (DNNs) is an important and nontrivial task. In this paper, we propose a practical approach to interpret decisions made by a DNN object detector that has fidelity comparable to state-of-the-art methods and sufficient computational efficiency to process large datasets. Our method relies on recent theory and approximates Shapley feature importance values. We qualitatively and quantitatively show that the proposed explanation method can be used to find image features which cause failures in DNN object detection. The developed software tool combined into the "Explain to Fix" (E2X) framework has a factor of 10 higher computational efficiency than prior methods and can be used for cluster processing using graphics processing units (GPUs). Lastly, we propose a potential extension of the E2X framework where the discovered missing features can be added into training dataset to overcome failures after model retraining.

연구 동기 및 목표

• 예측 실패 원인이 되는 특징을 특정하는 실용적이고 고정밀도의 DNN 객체 검출기 예측 해석 방법을 개발하는 것.
• 특히 감시 및 자율 주행과 같은 실시간 응용 분야에서 요구하는 대규모 데이터셋 처리에 적합한 계산 효율성을 확보하는 것.
• 해석을 통해 훈련 데이터의 누락되거나 기능하지 않는 특징을 탐지하고, 재학습을 통한 모델 보완을 지원하는 것.
• 설명 결과를 기반으로 누락된 훈련 샘플을 식별하고 합성하거나 검색함으로써 자동화된 데이터셋 관리로 E2X 프레임워크를 확장하는 것.

제안 방법

• 최근 기능 기여도 이론적 발전을 활용하여, 기울기 기반 역전파를 사용해 SHAP(Shapley Additive Explanations) 기능 중요도 값을 근사화하는 방법을 적용한다.
• 단일 스풍경 객체 검출기(SSD)에 설명 프레임워크를 적용하여 예측 실패 원인의 공간적으로 국소화된 기여도를 제공한다.
• 각 검출에 대해 K개의 샘플을 사용하는 파arametrized 샘플링 전략을 도입하여 GPU에서의 효율적 배치 처리를 가능하게 한다.
• 비용이 많이 드는 전방향 전파를 피하기 위해 픽셀 단위의 변형을 제거하고 기울기 기반 중요도 지도를 사용함으로써 계산 효율성을 향상시킨다.
• 초상소 단위 분할을 통합하여 예측에 영향을 주는 영역을 강조하는 해석 가능한 주의 맵을 생성한다.
• 이전 방법들인 LIME과 비교해 CPU 병목 현상이 없는 다중 GPU 병렬 처리를 지원한다.

실험 결과

연구 질문

• RQ1 기울기 기반 방법이 객체 검출에 대해 높은 정밀도로 SHAP 값을 근사하면서도 계산 효율성을 유지할 수 있는가?
• RQ2 제안된 설명 방법이 PDA, LIME, IG와 같은 기존 방법들과 정확도 및 속도 측면에서 어떻게 비교되는가?
• RQ3 설명 모델이 객체 검출 예측에서 누락되거나 기능하지 않는 특징을 신뢰성 있게 식별할 수 있는가?
• RQ4 발견된 특징을 활용해 데이터 증강 및 재학습을 통해 모델 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• E2X는 이전 최고 수준의 방법 대비 계산 효율성에서 10배 향상되었으며, 기준 모델에 따라 LIME 대비 9–20배 빠른 속도 향상을 기록했다.
• E2X와 기준 모델의 기능 중요도 지도 간 상관관계(E[ρ])는 약 0.5로, LIME와 유사하며 PDA(E[ρ] ≈ 0.2)와 IG(E[ρ] < 0.01)보다 유의미하게 높다.
• E2X는 높은 해석 정밀도를 보이며, 특히 실패 원인이 되는 이미지 영역을 식별하는 데 기준 모델의 중요도 지도와 밀도 있게 일치한다.
• 이 프레임워크는 대규모 데이터셋에 대한 확장 가능한 GPU 기반 병렬 분석을 가능하게 하여, 감시 및 자율 주행 시스템과 같은 실세계 적용에 적합하다.
• 이 방법은 검출에서 누락되거나 기능하지 않는 특징을 성공적으로 식별할 수 있으며, 이를 통해 훈련 데이터 증강 및 모델 일반화 향상에 활용할 수 있다.
• 제안된 E2X 프레임워크의 확장 기능은 설명 결과가 누락된 훈련 샘플을 발견하거나 합성하는 데 이르는 폐쇄형 루프 시스템을 가능하게 한다.