[논문 리뷰] Invariant Information Distillation for Unsupervised Image Segmentation and Clustering

Xu Ji, João F. Henriques외 1명|arXiv (Cornell University)|2018. 07. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 17인용 수 53

한 줄 요약

이 논문은 증강된 이미지 쌍에 대한 예측 간 상호정보를 최대화하여, 쌍이 없는 이미지 데이터만을 사용해 신경망을 처음부터 훈련시키는 새로운 비지도 군집화 방법을 제안한다. 이 방법은 8개의 벤치마크에서 최신 기준 성능을 달성하며, CIFAR10에서 이전 방법보다 9.5% 높은 정확도를 기록하고, 준지도 설정에서 STL10에서 88.8%의 정확도를 달성한다.

ABSTRACT

We present a novel clustering objective that learns a neural network classifier from scratch, given only unlabelled data samples. The model discovers clusters that accurately match semantic classes, achieving state-of-the-art results in eight unsupervised clustering benchmarks spanning image classification and segmentation. These include STL10, an unsupervised variant of ImageNet, and CIFAR10, where we significantly beat the accuracy of our closest competitors by 6.6 and 9.5 absolute percentage points respectively. The method is not specialised to computer vision and operates on any paired dataset samples; in our experiments we use random transforms to obtain a pair from each image. The trained network directly outputs semantic labels, rather than high dimensional representations that need external processing to be usable for semantic clustering. The objective is simply to maximise mutual information between the class assignments of each pair. It is easy to implement and rigorously grounded in information theory, meaning we effortlessly avoid degenerate solutions that other clustering methods are susceptible to. In addition to the fully unsupervised mode, we also test two semi-supervised settings. The first achieves 88.8% accuracy on STL10 classification, setting a new global state-of-the-art over all existing methods (whether supervised, semi-supervised or unsupervised). The second shows robustness to 90% reductions in label coverage, of relevance to applications that wish to make use of small amounts of labels. this http URL

연구 동기 및 목표

• 사전 학습된 특징이나 외부 군집화 단계가 필요 없이, 레이블이 없는 데이터로부터 의미적 표현을 학습할 수 있는 군집화 목적 함수를 개발한다.
• 기존의 비지도 대비 학습에서 흔히 발생하는 열악한 해법 문제를 해결하기 위해, 정보 이론에 기반한 방법을 도입한다.
• 후처리가 필요한 고차원 표현 공간을 피하기 위해, 네트워크를 통해 직접 의미적 레이블을 예측할 수 있도록 한다.
• 이미지 분류, 분할, 준지도 학습 설정을 포함한 다양한 벤치마크에서 성능을 평가한다.
• 레이블 수가 극도로 부족한 상황, 예를 들어 90%의 레이블 감소 조건에서도 강건성을 입증한다.

제안 방법

• 각 이미지에서 무작위 데이터 증강을 사용하여 쌍을 생성하고, 대비 학습을 위한 양성 쌍을 형성한다.
• 증강된 쌍에 대한 네트워크 예측 간 상호정보를 최대화하기 위해, 불변 정보 흠집 목적 함수를 사용한다.
• 네트워크는 후처리가 필요 없는 직접적인 의미적 클래스 할당을 출력하도록 훈련된다.
• 목적 함수는 정보 이론에 기반하여, 다른 대비 학습 방법에서 흔히 발생하는 열악한 해법에 대한 강건성을 확보한다.
• 이 방법은 시각 외의 분야에도 일반화 가능하며, 어떤 쌍으로 이루어진 데이터 분포에도 적용 가능하다.
• 작은 수의 레이블과 비지도 목적 함수를 조합하여 준지도 변형을 테스트함으로써, 레이블 부족 조건에서도 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터만을 사용해 신경망을 처음부터 훈련시켜 의미 있는 의미 군집을 발견할 수 있는가?
• RQ2 증강된 이미지 쌍에 대한 예측 간 상호정보를 최대화하면 최신 기준 성능을 달성하는 군집화 성능을 얻을 수 있는가?
• RQ3 이 방법은 이미지 분류 및 분할 작업을 포함한 다양한 벤치마크에 일반화 가능한가?
• RQ4 레이블 수가 극도로 부족한 상황, 예를 들어 90%의 레이블 감소 조건에서 성능은 어떻게 되는가?
• RQ5 대규모 레이블 데이터에 의존하지 않고도 준지도 학습에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 비지도 군집화에서 CIFAR10에서 가장 가까운 경쟁자 대비 9.5%의 절대 정확도 향상을 달성한다.
• STL10에서 준지도 변형은 88.8%의 정확도를 기록하여, 모든 지도, 준지도, 비지도 방법 중에서 새로운 글로벌 최신 기준 성능을 수립한다.
• STL10, ImageNet-unsupervised, CIFAR10 포함 8개의 비지도 벤치마크에서 이전 접근 방식보다 뚜렷이 뛰어난 성능을 보인다.
• 레이블 커버리지가 90% 감소한 상황에서도 강건성을 입증하여, 최소한의 감독 조건에서도 뛰어난 성능을 보인다.
• 정보 이론적 기반 덕분에 열악한 해법을 피할 수 있어 안정적이고 의미 있는 군집화를 보장한다.
• 네트워크가 직접 의미적 레이블을 출력하여, 후처리나 외부 군집화 단계가 필요 없어진다.