[논문 리뷰] Objects as context for part detection.

Abel Gonzalez-Garcia, Davide Modolo외 1명|arXiv (Cornell University)|2017. 03. 28.

Advanced Neural Network Applications참고 문헌 36인용 수 3

한 줄 요약

이 논문은 객체의 외관, 클래스 및 객체 내 예상되는 상대적 부분 위치를 활용하여 의미적 부분을 검출하는 새로운 딥러닝 모듈인 OffsetNet을 제안한다. 객체 인식 특징 공간에서 부분을 모델링함으로써, 이 방법은 부분 전용 외관 모델 대비 PASCAL-Part에서 +5 mAP 향상을 달성한다.

ABSTRACT

We present a semantic part detection approach that effectively leverages object information.We use the object appearance and its class as indicators of what parts to expect. We also model the expected relative location of parts inside the objects based on their appearance. We achieve this with a new network module, called OffsetNet, that efficiently predicts a variable number of part locations within a given object. Our model incorporates all these cues to detect parts in the context of their objects. This leads to considerably higher performance for the challenging task of part detection compared to using part appearance alone (+5 mAP on the PASCAL-Part dataset). We also compare to other part detection methods on both PASCAL-Part and CUB200-2011 datasets.

연구 동기 및 목표

• 객체 클래스와 외관과 같은 객체 수준의 맥락을 통합하여 의미적 부분 검출 성능을 향상시키기 위해.
• 객체 내에서 부분의 예상 상대적 공간 구성 구조를 모델링하여 정확도를 향상시키기 위해.
• 각 객체당 가변적인 수의 부분 위치를 예측할 수 있는 유연한 딥러닝 모듈을 개발하기 위해.
• 객체 맥락 없이 국소적 부분 외관에 의존하는 기존 부분 검출 방법들을 능가하기 위해.

제안 방법

• 객체 특징과 클래스 임베딩을 기반으로 부분 위치를 예측하는 신경망 모듈인 OffsetNet을 도입한다.
• 객체 외관과 클래스를 의미적 단서로 사용하여 객체 내 부분 위치 예측을 조건화한다.
• 객체 수준의 특징에서의 공간 오프셋을 학습하여 상대적 부분 위치를 모델링함으로써, 가변 길이의 부분 출력을 가능하게 한다.
• 특징 융합을 통해 객체 수준의 맥락을 부분 검출에 통합함으로써 정밀도 향상 및 정확도 향상에 기여한다.
• 객체 및 부분 레이블이 포함된 데이터셋을 사용해 엔드 투 엔드로 모델을 훈련함으로써 맥락 인식 검출을 공동 최적화한다.
• 백본 네트워크에서 추출한 깊이 컨볼루션 특징을 활용하여 객체 및 부분 표현을 추출한다.

실험 결과

연구 질문

• RQ1 외관 전용 모델 대비 객체 수준의 의미적 및 공간 맥락을 통합할 경우 부분 검출 정확도가 향상되는가?
• RQ2 딥러닝 모듈이 단일 객체 내에서 가변적인 수의 부분 위치를 얼마나 효과적으로 예측할 수 있는가?
• RQ3 객체 클래스와 외관을 단서로 통합할 경우 부분 검출 오차는 어느 정도 감소하는가?
• RQ4 제안된 방법은 표준 벤치마크에서 최신 기술 대비 어떻게 비교되는가?

주요 결과

• 제안된 방법은 부분 전용 외관 모델 대비 PASCAL-Part 데이터셋에서 +5 mAP 향상을 달성한다.
• 이 모델은 PASCAL-Part 및 CUB200-2011 데이터셋 양쪽에서 기존의 부분 검출 방법들을 능가한다.
• 객체 수준의 맥락은 가짜 양성 결과를 줄이고 부분 위치 추정 정확도를 향상시켜 정확도 향상에 기여한다.
• OffsetNet은 각 객체당 가변적인 수의 부분을 효과적으로 처리하여 부분 검출의 유연성을 입증한다.
• 객체 클래스와 외관을 맥락 단서로 통합함으로써 더 견고하고 정확한 부분 검출이 가능해진다.
• 다양한 객체 종류와 부분 유형에 걸쳐 일관된 성능 향상이 관찰된다.