[논문 리뷰] Towards Interpretable R-CNN by Unfolding Latent Structures

Tianfu Wu, Wei Sun외 3명|arXiv (Cornell University)|2017. 11. 14.

Multimodal Machine Learning Applications참고 문헌 41인용 수 12

한 줄 요약

이 논문은 R-FCN에 계층적 AND-OR 그래프(AOG)를 통합하여 부분 수준의 감독 없이도 잠재적 부분 구성(configuration)를 자동으로 탐지하고 설명할 수 있는 해석 가능한 객체 검출 프레임워크를 제안한다. RoIPooling을 대체하여 실시간으로 최적의 파싱 트리를 추론하는 AOGParsing 연산자를 도입함으로써, PASCAL VOC 2007 및 2012에서 최신 기준 성능을 유지하면서도 정성적인 추출적 근거를 생성한다.

ABSTRACT

This paper first proposes a method of formulating model interpretability in visual understanding tasks based on the idea of unfolding latent structures. It then presents a case study in object detection using popular two-stage region-based convolutional network (i.e., R-CNN) detection systems. We focus on weakly-supervised extractive rationale generation, that is learning to unfold latent discriminative part configurations of object instances automatically and simultaneously in detection without using any supervision for part configurations. We utilize a top-down hierarchical and compositional grammar model embedded in a directed acyclic AND-OR Graph (AOG) to explore and unfold the space of latent part configurations of regions of interest (RoIs). We propose an AOGParsing operator to substitute the RoIPooling operator widely used in R-CNN. In detection, a bounding box is interpreted by the best parse tree derived from the AOG on-the-fly, which is treated as the qualitatively extractive rationale generated for interpreting detection. We propose a folding-unfolding method to train the AOG and convolutional networks end-to-end. In experiments, we build on R-FCN and test our method on the PASCAL VOC 2007 and 2012 datasets. We show that the method can unfold promising latent structures without hurting the performance.

연구 동기 및 목표

• 자율주행 및 감시와 같은 중요한 시각 응용 분야에서 사용되는 딥 러닝 모델의 해석성 부족 문제를 해결한다.
• 부분 수준의 애너테이션을 요구하지 않고도 객체의 분별성 있는 부분 구성(configuration)을 자동으로 탐지할 수 있는 방법을 개발한다.
• 상향식(bottom-up) ConvNets와 하향식(top-down) 구성적 문법 모델(AOG)을 종속적으로 통합하여 모델의 투명성을 향상시킨다.
• 추론 과정에서 AOG로부터 해석 가능한 파싱 트리를 유도함으로써 약간의 감독을 받는 추출적 근거 생성을 가능하게 한다.
• 해석 가능성 기능을 추가하되, 최신 기준 R-CNN 모델과 유사한 검출 성능 유지를 목표로 한다.

제안 방법

• 영역 제안(RoIs)의 잠재적 부분 구성(configuration)을 표현하기 위해 방향성 비순환 AND-OR 그래프(AOG)를 사용하는 상향식 계층적이고 구성적인 문법 모델을 제안한다.
• 기본 RoIPooling 레이어를 대체하기 위해 각 RoI에 대해 최적의 파싱 트리를 실시간으로 추론할 수 있는 AOGParsing 연산자를 설계한다.
• 터미널 노드 민감도 맵을 사용해 특징 반응을 계산하며, AND-노드와 OR-노드는 합계(SUM), 평균(MEAN), 또는 요소별 최댓값(element-wise MAX)과 같은 단순 연산을 적용한다.
• AOG 구조와 합성곱 특징을 종속적으로 최적화하기 위해 접기-펴기(folding-unfolding) 학습 절차를 도입한다.
• 다양한 격자 크기(예: 3×3, 5×5, 7×7)와 구성으로 AOG를 구성하여 다양한 수준의 구조적 복잡성 탐색을 수행한다.
• 터미널 노드가 변형 가능한 RoIPooling과 유사하게 공간적 위치를 조정할 수 있도록 허용함으로써 탄성 AOGs를 위한 방법을 적응시킨다.

실험 결과

연구 질문

• RQ1 하향식 문법 모델이 하향식 ConvNets와 효과적으로 통합되어 해석 가능한 객체 검출을 가능하게 할 수 있는가?
• RQ2 두 단계 검출 프레임워크에서 부분 수준의 감독 없이도 잠재적 부분 구성(configuration)을 탐지하고 설명할 수 있는가?
• RQ3 RoIPooling을 AOGParsing 연산자로 대체함으로써 검출 정확도를 유지하면서도 추출적 근거 생성 기능을 제공할 수 있는가?
• RQ4 AOG 기반 방법의 성능이 RFCN-d와 같은 최신 기준 R-CNN 모델과 표준 벤치마크에서 어떻게 비교되는가?
• RQ5 접기-펴기 절차를 통해 AOG 구조를 합성곱 네트워크와 종속적으로 끝까지 학습시킬 수 있는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2007 및 2012 데이터셋에서 최신 기준 RFCN-d 모델과 유사한 검출 성능을 달성한다.
• 모든 AOG 변형(AOG331, AOG551, AOG772)이 기준 R-FCN와 유사한 검출 정확도를 유지함으로써 AOG 통합으로 인한 성능 저하가 없음을 확인한다.
• AOGParsing 연산자가 각 검출된 객체에 대해 최적의 파싱 트리를 성공적으로 추론하여 잠재적 부분 구성(configuration)을 시각화하는 정성적인 추출적 근거를 제공한다.
• 실행 시간은 AOG 크기에 따라 달라지며, AOG331은 약 0.25초, AOG551은 약 1.3초, AOG772는 약 0.78초, RFCN-d는 약 0.36초 소요되며, 이는 합리적인 추론 비용임을 시사한다.
• 약간의 감독을 받는 추출적 근거 생성의 가능성은 입증되었으며, AOG에서 유도된 최적의 파싱 트리가 검출 결정의 근거로 작용한다.
• 절단 분석(ablation study)을 통해 AOG 기반 접근법이 RoIPooling의 일반화된 형태임을 확인하였으며, RoIPooling은 고정된 평탄한 구성을 가진 AOGParsing의 특수한 경우임을 입증한다.