[논문 리뷰] DHOG: Deep Hierarchical Object Grouping

Luke Nicholas Darlow, Amos Storkey|arXiv (Cornell University)|2020. 03. 13.

Advanced Neural Network Applications참고 문헌 29인용 수 5

한 줄 요약

DHOG는 여러 신경망 헤드를 순차적으로 훈련시켜 상호정보량 최대화에서 국소 최적해를 피하고, 각 헤드 간 상호정보량을 최소화함으로써 상이하고 중복되지 않는 표현을 학습하는 딥 계층적 표현 학습 프레임워크를 제안한다. 이 계층적 접근은 상호정보량 최대화에서 국소 최적해를 피하며, 사전 처리 없이 CIFAR-10(+4.3%), CIFAR-100-20(+1.5%), SVHN(+7.2%)에서 최신 기준 성능을 달성한다.

ABSTRACT

Recently, a number of competitive methods have tackled unsupervised representation learning by maximising the mutual information between the representations produced from augmentations. The resulting representations are then invariant to stochastic augmentation strategies, and can be used for downstream tasks such as clustering or classification. Yet data augmentations preserve many properties of an image and so there is potential for a suboptimal choice of representation that relies on matching easy-to-find features in the data. We demonstrate that greedy or local methods of maximising mutual information (such as stochastic gradient optimisation) discover local optima of the mutual information criterion; the resulting representations are also less-ideally suited to complex downstream tasks. Earlier work has not specifically identified or addressed this issue. We introduce deep hierarchical object grouping (DHOG) that computes a number of distinct discrete representations of images in a hierarchical order, eventually generating representations that better optimise the mutual information objective. We also find that these representations align better with the downstream task of grouping into underlying object classes. We tested DHOG on unsupervised clustering, which is a natural downstream test as the target representation is a discrete labelling of the data. We achieved new state-of-the-art results on the three main benchmarks without any prefiltering or Sobel-edge detection that proved necessary for many previous methods to work. We obtain accuracy improvements of: 4.3% on CIFAR-10, 1.5% on CIFAR-100-20, and 7.2% on SVHN.

연구 동기 및 목표

• 탐색적 최적화와 제한된 데이터 증강 기법으로 인해 상호정보량 최대화가 비효율적인 무 supervision 표현 학습 성능 저하 문제를 해결하기 위해.
• 확률적 경사 하강법이 평균 색상과 같은 단순한 특징에 의존하는 쉬운 국소 최적해로 수렴하는 경향을 극복하기 위해.
• 연속된 네트워크 헤드 간 상호정보량을 최소화하여 다양하고 계층적인 표현을 유도하는 방법을 개발하기 위해.
• Sobel 에지 검출과 같은 사전 처리 기법에 의존하지 않고 후속 클러스터링 성능을 향상시키기 위해.
• 계층적 표현 순서가 기저 객체 클래스와 더 잘 일치하고, 증강된 시각 간 상호정보량이 더 높아지는가를 입증하기 위해.

제안 방법

• DHOG는 간단한 표현에서 복잡한 표현으로 향하는 순차적 계층적 순서로 다수의 신경망 헤드를 훈련시킨다.
• 각 헤드는 동일한 이미지의 증강된 시각 간 표현 간 상호정보량을 최대화하며, 이는 대비 학습 방식과 유사하다.
• 연속된 헤드 간 상호정보량을 최소화하는 교차 헤드 상호정보량 최소화 항목을 도입하여, 후속 헤드가 중복된 특징을 학습하지 않도록 유도한다.
• i번째 및 j번째 헤드 간 상호정보량(MI)은 i < j 조건 하에 대비 손실을 통해 최소화되며, 이는 고유한 표현 학습을 장려한다.
• 훈련 목표는 각 헤드에 대한 증강 기반 상호정보량 최대화와 헤드 간 상호정보량 최소화를 조합하여 다양성을 증진시킨다.
• 계층적 구조는 초기 헤드가 단순한 저수준 특징을 학습하고, 후속 헤드가 더 복잡한 고수준 표현을 발견하도록 강제한다.

실험 결과

연구 질문

• RQ1 신경망 헤드의 계층적 훈련 순서가 무 supervision 표현 학습에서 상호정보량 최대화를 향상시키는가?
• RQ2 연속된 헤드 간 상호정보량을 최소화함으로써 모델이 동일한 국소 최적해로 수렴하는 것을 방지할 수 있는가?
• RQ3 이러한 접근은 Sobel 에지 검출과 같은 사전 처리 없이도 기존 최신 기준 방법보다 더 나은 클러스터링 성능을 달성할 수 있는가?
• RQ4 조기 헤드와 후기 헤드에서 학습된 표현은 특징 복잡성과 클러스터 간 구분성 측면에서 어떻게 다를까?
• RQ5 계층적 구조가 벤치마크 데이터셋에서 기저 객체 클래스와의 일치도를 얼마나 향상시키는가?

주요 결과

• DHOG는 사전 최신 기준 방법 대비 무 supervision 클러스터링에서 CIFAR-10에서 4.3%의 정확도 향상을 달성했다.
• CIFAR-100-20에서는 Sobel 에지 검출 또는 프리필터링을 사용하지 않아도 클러스터링 정확도에서 1.5% 향상을 기록했다.
• SVHN에서는 7.2%의 정확도 향상을 기록하여 다양한 데이터셋에 걸쳐 강력한 일반화 능력을 입증했다.
• CIFAR-10에서 A/4.2%의 향상이 관찰되었으며, 논문의 결론에서는 전체 결과로 4.3%로 보고되었다.
• t-SNE 시각화 결과 계층적 표현이 계층을 따라 점점 더 명확하고 클러스터 형태로 변형되며, 후속 헤드가 더 복잡한 객체 수준의 특징을 포착하는 것으로 나타났다.
• 혼동 행렬 분석 결과, 교차 헤드 상호정보량 최소화를 적용하지 않은 모델 대비 최종 DHOG 헤드에서 교차 클래스 혼동이 크게 감소했다.