[논문 리뷰] Human-like Clustering with Deep Convolutional Neural Networks

Ali Borji, Ayşegül Dündar|arXiv (Cornell University)|2017. 06. 15.

Visual Attention and Saliency Detection참고 문헌 38인용 수 6

한 줄 요약

이 논문은 계층적 특징 학습을 활용하여 인간의 인지 방식을 모방하는 딥 컨volution 신경망(CNN) 기반의 비지도 군집화 방법을 제안한다. 평균 제곱오차 손실를 사용해 노이즈가 있는 레이블로 훈련된 모델은 겹치고 복잡한 형태를 가진 합성 데이터에서 최신 군집화 알고리즘을 능가하며, 인간 평가를 통해 FCM 또는 CFSFDP보다도 더 인간의 판단과 유사한 군집을 생성하는 것으로 확인되었다.

ABSTRACT

Classification and clustering have been studied separately in machine learning and computer vision. Inspired by the recent success of deep learning models in solving various vision problems (e.g., object recognition, semantic segmentation) and the fact that humans serve as the gold standard in assessing clustering algorithms, here, we advocate for a unified treatment of the two problems and suggest that hierarchical frameworks that progressively build complex patterns on top of the simpler ones (e.g., convolutional neural networks) offer a promising solution. We do not dwell much on the learning mechanisms in these frameworks as they are still a matter of debate, with respect to biological constraints. Instead, we emphasize on the compositionality of the real world structures and objects. In particular, we show that CNNs, trained end to end using back propagation with noisy labels, are able to cluster data points belonging to several overlapping shapes, and do so much better than the state of the art algorithms. The main takeaway lesson from our study is that mechanisms of human vision, particularly the hierarchal organization of the visual ventral stream should be taken into account in clustering algorithms (e.g., for learning representations in an unsupervised manner or with minimum supervision) to reach human level clustering performance. This, by no means, suggests that other methods do not hold merits. For example, methods relying on pairwise affinities (e.g., spectral clustering) have been very successful in many scenarios but still fail in some cases (e.g., overlapping clusters).

연구 동기 및 목표

• 인간의 시각 계층 구조를 모방하는 딥 러닝 프레임워크를 활용해 분류와 군집화 간 격차를 해소하고자 한다.
• 딥 컨volution 신경망이 복잡하고 겹치는 군집 형태에서 인간 수준의 군집화 성능를 달성할 수 있는지 조사하고자 한다.
• 명시적 지도 없이 노이즈가 있는 레이블을 사용해 엔드 투 엔드로 훈련된 CNN의 비지도 군집화에서의 효과성을 평가하고자 한다.
• CNN의 계층적 구성성 구조가 기존 군집화 알고리즘보다 더 나은 복잡한 구조적 패턴을 포착할 수 있음을 보여주고자 한다.

제안 방법

• 백프로파게이션을 사용해 노이즈가 있는 레이블로 엔드 투 엔드로 훈련된 완전 컨volution 신경망이 군집 할당을 예측한다.
• 예측된 레이블과 진짜 레이블 간의 차이를 최소화하기 위해 네트워크는 평균 제곱오차 손실 함수를 사용한다.
• 아키텍처는 공간적 가중치 공유와 계층적 특징 학습을 활용하여, 간단한 에지에서부터 전체 형태에 이르기까지 점차로 더 복잡한 패턴을 탐지할 수 있도록 한다.
• 사용자 연구를 통해 인간 참가자가 어느 군집 솔루션이 자신의 인식과 가장 잘 일치하는지 평가한다.
• 기존 군집 알고리즘들이 자주 실패하는, 예를 들어 두 개의 반달 모양이 겹쳐진 것과 같은 합성 자극에 방법을 적용한다.
• 약한 또는 레이블이 없는 경우에도 일반화를 향상시키기 위해 대체 손실 함수로 쌍별 정확도를 고려한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 레이블로 훈련된 딥 컨volution 신경망이 복잡하고 겹치는 군집 형태에서 인간의 판단과 유사한 군집화 성능를 달성할 수 있는가?
• RQ2 CNN의 계층적이고 구성적인 구조는 FCM나 CFSFDP와 같은 전통적 알고리즘보다 군집화 성능를 어떻게 향상시키는가?
• RQ3 인간 참가자들이 최신 군집화 방법보다 CNN이 생성한 군집을 어느 정도 더 선호하는가?
• RQ4 최소한의 지도 없이 엔드 투 엔드로 훈련된 CNN이 비지도 군집화에 적합한 표현을 생성할 수 있는가?
• RQ5 시각의 복합 경로(Ventral stream)의 계층적 조직은 인간과 유사한 군집화를 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 14명의 인간 참가자로 이루어진 사용자 연구에서 CNN이 생성한 군집은 FCM나 CFSFDP보다 유의미하게 더 자주 선택되었다(p = 2.52e-06 및 p = 0.045, 각각), 이는 인간의 인지와의 높은 일치성을 시사한다.
• 2개 또는 3개의 군집을 포함한 총 300개의 합성 자극에서 CNN은 FCM 및 CFSFDP보다 평균 정확도가 높았다.
• 모델은 기존 군집 알고리즘이 자주 실패하는 복잡하고 가림을 입은 군집 형태—예를 들어 겹치는 반달 모양—을 성공적으로 처리했다.
• 결과적으로 계층적 딥 러닝 프레임워크는 데이터로부터 복잡하고 구성적인 패턴을 학습함으로써 분류와 군집화를 통합할 수 있음을 보여주었다.
• 이 연구는 CNN의 비지도 또는 약한 지도 학습이 인간 수준의 군집화 성능에 도달할 수 있는 실현 가능한 길이 될 수 있음을 시사한다.
• 저자는 인간 시각의 계층적 구조를 군집 알고리즘에 통합하는 것이 강건하고 일반화 가능한 성능를 달성하기 위해 필수적이라고 결론 내린다.