[논문 리뷰] Detecting Semantic Parts on Partially Occluded Objects

Jianyu Wang, Cihang Xie외 4명|arXiv (Cornell University)|2017. 07. 25.

Advanced Neural Network Applications참고 문헌 23인용 수 7

한 줄 요약

이 논문은 깊이 신경망 활성화에서 유도된 국소 시각적 신호를 집계하여 부분적으로 가림된 물체의 의미적 부분을 탐지하는 투표 기반 프레임워크를 제안한다. 로그우도비 검정과 공간 제약 조건을 사용하여, 메서드는 지원 시각 개념을 다이나믹하게 통합함으로써, 중간 이상의 가림 상황에서도 기준 모델보다 뛰어난 강건성을 확보한다. 45개에서 10개로 시각 개념을 줄였을 때 정확도 저하가 7.8%에 그치며, 경쟁 모델들에 비해 더 큰 하락을 보인다.

ABSTRACT

In this paper, we address the task of detecting semantic parts on partially occluded objects. We consider a scenario where the model is trained using non-occluded images but tested on occluded images. The motivation is that there are infinite number of occlusion patterns in real world, which cannot be fully covered in the training data. So the models should be inherently robust and adaptive to occlusions instead of fitting / learning the occlusion patterns in the training data. Our approach detects semantic parts by accumulating the confidence of local visual cues. Specifically, the method uses a simple voting method, based on log-likelihood ratio tests and spatial constraints, to combine the evidence of local cues. These cues are called visual concepts, which are derived by clustering the internal states of deep networks. We evaluate our voting scheme on the VehicleSemanticPart dataset with dense part annotations. We randomly place two, three or four irrelevant objects onto the target object to generate testing images with various occlusions. Experiments show that our algorithm outperforms several competitors in semantic part detection when occlusions are present.

연구 동기 및 목표

• 학습 중에 관찰하지 못한 임의의 가림 패tern에 대해 강건한 부분 탐지 방법을 개발하는 것.
• Faster R-CNN과 같은 통합 탐지기의 부분 수준의 추론 부족으로 인해 가림된 부분을 처리하는 데 한계가 있다는 문제를 해결하는 것.
• 가림되지 않은 훈련 데이터만을 사용하여 부분적으로나마 가림된 의미적 부분을 탐지할 수 있도록 하는 것.
• 맥락에 따라 시각적 신호를 켜거나 끄는 방식으로 유연하고 설명 가능한 탐지 시스템을 만들기 위한 것.

제안 방법

• 깊이 신경망의 내부 활성화를 군집화하여 시각적 개념을 추출함으로써 국소적이고 의미적으로 유의미한 특징을 표현한다.
• 로그우도비 검정을 사용하여 시각적 개념에서의 증거를 투표 방식으로 집계함으로써 부분 존재에 대한 신뢰도를 평가한다.
• 공간 오프셋 맵을 통해 탐지된 부분과 시각적 신호 간의 타당한 상대적 위치를 공간 제약 조건으로 강제한다.
• 다중 해상도 추론과 학습된 스케일 예측 모듈을 사용하여 다양한 크기의 물체를 처리한다.
• 공간 일관성과 가능성에 기반하여 시각적 신호를 다이나믹하게 활성화 또는 비활성화함으로써 부정적 신호를 피한다.
• 이웃 임계값은 공간적 맥락 범위를 제어하며, 제거 분석을 통해 가림 상황에서 장거리 신호의 민감도가 확인되었다.

실험 결과

연구 질문

• RQ1 비가림 데이터로만 훈련된 탐지 시스템이 부분적으로 가림된 물체에서 높은 정확도를 유지할 수 있는가?
• RQ2 가림 상황에서 국소적 시각적 신호 통합 방식이 통합 물체 탐지 방식보다 어떻게 비교되는가?
• RQ3 부분 탐지에서 공간 맥락 모델링이 가림에 대한 강건성에 어떤 영향을 미치는가?
• RQ4 투표 프레임워크는 지원 시각 개념의 수와 공간 이웃 범위 크기에 얼마나 민감한가?
• RQ5 학습 시 명시적인 가림 데이터 없이도 이 방법은 새로운 가림 패턴으로 일반화할 수 있는가?

주요 결과

• 제안된 투표 방법은 시각 개념을 45개에서 10개로 줄였을 때 정확도 저하가 가장 작게(7.8%) 나타나며, 기준 모델들보다 더 큰 하락을 보인다.
• 작은 이웃 임계값(γ_th = 56)을 사용했을 때 4.5%의 정확도 저하가 발생하여, 가림 상황에서 장거리 시각적 신호의 중요성을 확인한다.
• 스케일 예측 모듈은 탐지 정확도를 크게 향상시키며, 오라클 스케일 정보가 없는 상황에서도 투표 방법이 가장 낮은 성능 저하를 보였다.
• 2~4개의 가림 물체가 존재하는 가림 테스트 세트에서, 투표 프레임워크는 Faster R-CNN 및 다른 기준 모델들보다 평균 정밀도(mAP)에서 뛰어난 성능을 보였다.
• 가림이 심해질수록 경쟁자들과의 성능 격차가 커지며, 이는 중간 이상의 가림 상황에서도 높은 강건성을 유지함을 의미한다.
• 진단 분석을 통해 충분한 수의 시각적 개념이 필수적이지만, 너무 많은 수는 성능 향상 없이 계산 비용만 증가시킨다.