[논문 리뷰] Object category learning and retrieval with weak supervision

Steven Hickson, Anelia Angelova외 2명|arXiv (Cornell University)|2018. 01. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 21인용 수 7

한 줄 요약

이 논문은 객체 존재 마스크( objectness masks )라는 약한 지도 학습만을 사용하여 레이블이 없는 이미지 데이터로부터 의미적 객체 종류와 임베딩을 학습하는 완전히 미분 가능한 엔드 투 엔드 딥 클러스터링 방법을 제안한다. 컨볼루션 네트워크 내에서 클러스터 중심을 학습 가능한 메모리 단위로 간주함으로써, 모델은 특징 표현과 클러스터링을 동시에 최적화하며, CIFAR-10과 Cityscapes에서 차량, 사람, 자전거와 같은 의미적 클래스를 레이블 없이도 의미 있는 방식으로 탐지한다.

ABSTRACT

We consider the problem of retrieving objects from image data and learning to classify them into meaningful semantic categories with minimal supervision. To that end, we propose a fully differentiable unsupervised deep clustering approach to learn semantic classes in an end-to-end fashion without individual class labeling using only unlabeled object proposals. The key contributions of our work are 1) a kmeans clustering objective where the clusters are learned as parameters of the network and are represented as memory units, and 2) simultaneously building a feature representation, or embedding, while learning to cluster it. This approach shows promising results on two popular computer vision datasets: on CIFAR10 for clustering objects, and on the more complex and challenging Cityscapes dataset for semantically discovering classes which visually correspond to cars, people, and bicycles. Currently, the only supervision provided is segmentation objectness masks, but this method can be extended to use an unsupervised objectness-based object generation mechanism which will make the approach completely unsupervised.

연구 동기 및 목표

• 수동적인 클래스 레이블 없이 의미적인 의미적 객체 종류를 학습하기 위해.
• 엔드 투 엔드로 미분 가능한 방식으로 딥 특징 임베딩과 클러스터링을 동시에 최적화하기 위해.
• 클래스 레이블 없이도 객체 존재 마스크만을 약한 지도 학습으로 사용하여 의미적으로 일관된 객체 종류를 비지도로 탐지할 수 있도록 하기 위해.
• 클러스터링과 표현 학습이 동시에 최적화되어 특징의 분리도를 향상시킬 수 있음을 보여주기 위해.
• 객체 생성 메커니즘을 통합함으로써 완전히 비지도 학습으로 확장할 수 있도록 하기 위해.

제안 방법

• 클러스터 중심을 신경망 내의 메모리 단위로 학습시키는 가미 가능한 k-means 클러스터링 목표를 통합한다.
• 클래스 레이블 없이도 이진 세그멘테이션 마스크를 사용한 전경 객체 제안을 약한 지도 학습으로 사용한다.
• CNN을 학습시켜 배경/전경을 예측하고, 동시에 역전파를 통해 임베딩과 클러스터 할당을 학습한다.
• 클러스터 중심을 네트워크 내의 파라미터로 저장하여 엔드 투 엔드 학습 중에 업데이트할 수 있도록 한다.
• 임베딩 학습 중에 클러스터 간 특징의 분리도를 향상시키기 위해 대조 손실을 적용한다.
• Cityscapes에서는 Inception 아키텍처를 사용하고, 데이터가 제한되어 있어 컨볼루션 계층만 미세조정한다.

실험 결과

연구 질문

• RQ1 객체 존재 마스크만을 사용하고 클래스 레이블이 전혀 없이도 약한 지도 학습 데이터에서 의미적 객체 종류가 탄생할 수 있는가?
• RQ2 엔드 투 엔드로 미분 가능한 클러스터링이 후속 검색 작업에 대한 특징 표현 품질을 향상시킬 수 있는가?
• RQ3 통합된 임베딩과 클러스터링 시스템이 차량, 사람, 자전거와 같은 의미적으로 유의미한 클래스를 얼마나 잘 탐지할 수 있는가?
• RQ4 클러스터링 손실이 없는 기준 임베딩보다 클러스터의 일관성과 정확도 측면에서 성능이 뛰어나게 되는가?
• RQ5 이 방법은 클래스 불균형과 희귀 객체 종류가 존재하는 복잡한 실세계 데이터셋인 Cityscapes와 같은 데이터에 일반화 가능한가?

주요 결과

• 제안된 방법은 Cityscapes 검증 세트에서 8개의 객체 종류를 3개의 클러스터로 비지도 클러스터링하여 69.98%의 정확도를 달성했다.
• Cityscapes에서 모델은 차량(초록색), 사람(파랑), 자전거(빨강)를 서로 다른 클러스터로 성공적으로 검색했으며, 클래스 불균형과 희귀 인스턴스가 존재하더라도 문제없이 작동했다.
• 클러스터링 손실이 없는 기준 임베딩은 단일한 주요 클러스터로 붕괴되어 차량과 사람과 같은 주요 클래스를 분리하지 못했다.
• 클래스 레이블이 전혀 없음에도 불구하고 모델은 의미적으로 의미 있는 클러스터를 학습했다. 예를 들어 자전거가 종종 사람이나 부분적으로 보이는 차량과 혼동되었지만, 여전히 일관된 그룹을 형성했다.
• 미분 가능한 클러스터링 목표는 특징의 분리도를 향상시켜 표준 k-means에 비해 더 나은 클러스터링 성능을 이끌어냈다.
• 이 방법은 복잡한 시나리오로 일반화되며, 객체 생성 메커니즘과 통합될 경우 완전히 비지도 학습에 대한 잠재력을 보여준다.