[논문 리뷰] Learning the semantic structure of objects from Web supervision

David Novotný, Diane Larlus외 1명|arXiv (Cornell University)|2016. 07. 05.

Advanced Image and Video Retrieval Techniques참고 문헌 62인용 수 7

한 줄 요약

이 논문은 웹 이미지에서 노이즈가 많은 데이터로부터 객체의 의미적 구조—부분과 그 기하적 관계—를 약한 지도 학습 방법을 통해 통합된 외관-기하 임베딩을 사용하여 학습하는 방법을 제안한다. 비의미적 중수준 기준점(anchors)을 기하 기반 참조로 활용함으로써, 강력한 부분 정렬을 달성하고 학습된 시각적 의미 어트라스를 통한 시각적으로 직관적인 탐색을 가능하게 하여 기준 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

While recent research in image understanding has often focused on recognizing more types of objects, understanding more about the objects is just as important. Recognizing object parts and attributes has been extensively studied before, yet learning large space of such concepts remains elusive due to the high cost of providing detailed object annotations for supervision. The key contribution of this paper is an algorithm to learn the nameable parts of objects automatically, from images obtained by querying Web search engines. The key challenge is the high level of noise in the annotations; to address it, we propose a new unified embedding space where the appearance and geometry of objects and their semantic parts are represented uniformly. Geometric relationships are induced in a soft manner by a rich set of nonsemantic mid-level anchors, bridging the gap between semantic and non-semantic parts. We also show that the resulting embedding provides a visually-intuitive mechanism to navigate the learned concepts and their corresponding images.

연구 동기 및 목표

• 비용이 많이 드는 수동 애너테이션 없이 대규모로 객체의 의미적 부분과 기하적 관계를 학습하고자 한다.
• 부분 검출에 있어 웹 지도 데이터의 높은 노이즈 문제를 해결하고자 한다.
• 외관과 기하를 모두 포괄하는 단일 임베딩 공간에서 객체와 부분의 표현을 통합하고자 한다.
• 학습된 시각적 의미 어트라스를 통해 전체 객체 이미지와 부분 이미지 간의 시각적으로 직관적인 탐색을 가능하게 하고자 한다.
• 비의미적 중수준 패치가 의미적 부분 학습을 위한 효과적인 기하 기준점이 될 수 있음을 입증하고자 한다.

제안 방법

• 외관과 기하적 관계를 함께 모델링하는 통합된 외관-기하 임베딩(Anchor-AG)을 제안하여 공유된 공간에서 표현한다.
• 비의미적 중수준 패치를 기하 기준점으로 사용하여 객체 중심의 기준 프레임을 정의함으로써 강력한 기하 추론을 가능하게 한다.
• 웹 쿼리(객체 이름 및 부분 이름)를 활용하여 노이즈가 많은 이미지 컬렉션에서 약한 지도 학습을 수행한다.
• 임베딩 공간 내에서 유사도 검색을 통해 부분 매칭을 정식화하고, 소스 및 타겟 영역 기술자 간 내적 곱을 최대화한다.
• 검출된 부분과 기하적 관계를 애너테이션으로 추가하여 웹 이미지에 시각적 의미 어트라스를 구축함으로써 스케일 간 탐색을 가능하게 한다.
• 이중 단계 매칭 프로세스를 사용한다: 먼저 임베딩 유사도로 후보 부분을 식별하고, 이후 기하 일관성으로 정밀 조정한다.

실험 결과

연구 질문

• RQ1 통합된 임베딩 공간이 의미적 부분과 전체 객체를 효과적으로 표현하면서도 기하적 관계를 유지할 수 있는가?
• RQ2 비의미적 중수준 패치가 노이즈가 많은 웹 데이터에서 의미적 부분 학습을 위한 신뢰할 수 있는 기하 기준점이 될 수 있는가?
• RQ3 약한 지도 학습 하에서 제안된 외관-기하 임베딩이 외관 전용 또는 기하 전용 기준보다 부분 매칭 성능에서 어떻게 우월한가?
• RQ4 학습된 모델이 전체 객체 이미지에서 줌 인된 부분 이미지로의 스케일 변형에 일반화될 수 있는가?
• RQ5 시각적 의미 어트라스가 웹 이미지 간의 직관적이고 개념 기반의 탐색을 어느 정도 가능하게 하는가?

주요 결과

• 제안된 Anchor-AG 임베딩은 모든 테스트 데이터셋에서 외관 전용 기준(기준 a)과 기하 전용 기준(Anchor-G)을 모두 초월하며, 최신 기술 대비 자동차 데이터셋에서 평균 IoU 10% 향상, 버스 데이터셋에서 16% 향상되었다 [61].
• LFPW 얼굴 데이터셋에서 평균 IoU는 0.41을 기록하여, 시야각 변화가 제한된 상황에서도 [61]을 2%포인트 우수하게 성과를 냈다.
• 이 방법은 의미적 부분 탐지에서 최신 기술과 유사한 분류 성능를 확보하면서도 의미적 매칭 성능를 크게 향상시켰다.
• 시각적 의미 어트라스를 통해 전체 객체 이미지와 부분 수준 이미지 간의 원활한 탐색이 가능했으며, 부분이 구성 요소이자 의미적 카테고리임을 입증했다.
• 비의미적 기준점의 사용은 노이즈에 대한 강건성을 향상시키고 다양한 스케일 및 시야각에서 일관된 기하 추론을 가능하게 했다.
• 이 방법은 대규모 웹 데이터에서도 확장 가능하고 효과적이며, 고비용의 바운딩 박스 애너테이션 또는 복잡한 부분 탐지 파이프라인의 필요 없이도 성능을 발휘한다.