[논문 리뷰] Hard Mixtures of Experts for Large Scale Weakly Supervised Vision

Sam Gross, Marc’Aurelio Ranzato외 1명|arXiv (Cornell University)|2017. 04. 20.

Advanced Neural Network Applications참고 문헌 10인용 수 7

한 줄 요약

이 논문은 대규모 약한 감독 이미지 인식을 위한 하드 믹스처 오브 엑스퍼트(MoE) 아키텍처를 제안한다. 여기서 각 이미지는 사전 훈련된 CNN의 특징 공간에서의 클러스터링 기반으로 단일 전문가에게 라우팅된다. 전문가들을 독립적으로 훈련하고 디코더를 공유함으로써, YFCC100M와 같은 데이터셋에서 대규모 모델을 효율적으로 확장할 수 있으며, 태그 예측 정확도 향상과 세분화된 분류 작업에서의 향상된 전이 성능를 달성한다.

ABSTRACT

Training convolutional networks (CNN's) that fit on a single GPU with minibatch stochastic gradient descent has become effective in practice. However, there is still no effective method for training large CNN's that do not fit in the memory of a few GPU cards, or for parallelizing CNN training. In this work we show that a simple hard mixture of experts model can be efficiently trained to good effect on large scale hashtag (multilabel) prediction tasks. Mixture of experts models are not new (Jacobs et. al. 1991, Collobert et. al. 2003), but in the past, researchers have had to devise sophisticated methods to deal with data fragmentation. We show empirically that modern weakly supervised data sets are large enough to support naive partitioning schemes where each data point is assigned to a single expert. Because the experts are independent, training them in parallel is easy, and evaluation is cheap for the size of the model. Furthermore, we show that we can use a single decoding layer for all the experts, allowing a unified feature embedding space. We demonstrate that it is feasible (and in fact relatively painless) to train far larger models than could be practically trained with standard CNN architectures, and that the extra capacity can be well used on current datasets.

연구 동기 및 목표

• GPU 메모리 용량을 초과하는 대규모 약한 감독 데이터셋에서 대규모 컨volutional 네트워크를 훈련하는 데 도전하는 것.
• 간단한 비종단형 MoE 아키텍처가 복잡한 라우팅 최적화 없이 모델 용량을 효과적으로 확장할 수 있는지 탐색하는 것.
• MoE 모델에서 전역 디코더를 공유할 경우 하류 작업을 위한 전이 가능한 특징을 유지할 수 있는지 평가하는 것.
• 100억 규모의 데이터셋에서 표준 CNN에서 발생하는 과소적합 현상이 MoE를 통한 아키텍처 확장으로 완화될 수 있는지 보여주는 것.

제안 방법

• 이미지는 먼저 사전 훈련된 ResNet-18을 통해 인코딩되며, 이전 층의 특징이 K-means를 사용해 클러스터링되어 전문가 할당을 정의한다.
• 각 이미지는 가장 가까운 클러스터 중심으로 라우팅되어 하드 라우팅 메커니즘을 통해 단일 전문가에게 할당된다.
• 전문가들은 할당된 데이터 하위집합에서 독립적으로 훈련되어 효율적인 병렬 훈련이 가능하다.
• 모든 전문가가 공유하는 디코더를 사용하여 특징 공간을 통합하고, 최종 특징 층에서 전이 학습을 가능하게 한다.
• 클러스터링 이후 게이팅 네트워크는 고정되어 있으며 종단 간 미세조정을 수행하지 않는다.
• 모델 평가는 CUB와 옥스포드 플라워스와 같은 하류 데이터셋에서 선형 프로브 정확도와 태그 예측을 위한 q@10을 사용한다.

실험 결과

연구 질문

• RQ1 간단한 비종단형 하드 믹스처 오브 엑스퍼트 모델은 대규모 약한 감독 데이터셋에서 모델 용량을 효과적으로 확장할 수 있는가?
• RQ2 클러스터링 기반 게이팅을 통한 단일 전문가에게 이미지를 라우팅하는 것이 대규모 데이터셋에서 표준 CNN보다 더 높은 성능을 낼 수 있는가?
• RQ3 전문가들 간에 공유되는 디코더가 하류 작업을 위한 의미 있는 전이 가능한 특징을 유지할 수 있는가?
• RQ4 클러스터 간 태그 분포의 희소성과 모델 예측 정확도 사이에 상관관계가 존재하는가?

주요 결과

• 하드 MoE 모델은 표준 CNN에 비해 YFCC100M에서 태그 예측 정확도에 상당한 향상을 보이며, 대규모 데이터에서의 과소적합 현상을 감소시킴을 입증한다.
• 클러스터 간 분포가 희소한 태그일수록 더 정확하게 예측되며, 이는 클러스터 구조가 의미론적 희소성과 일치함을 시사한다.
• 공유 디코더를 가진 MoE 변형은 CUB와 옥스포드 플라워스와 같은 세분화된 데이터셋에서 향상된 전이 성능를 보이며, 높은 품질의 특징 학습을 나타낸다.
• 게이팅 네트워크의 종단 간 훈련 없이도, 단일 모델 대비 2배 이내의 계산 비용으로 효율적인 병렬 훈련 및 평가가 가능하다.
• YFCC100M에서 훈련된 모델는 ImageNet 전이 작업에서 경쟁적인 성능를 달성하며, 약한 감독 데이터가 스케일에 따라 강력한 특징을 생성할 수 있음을 시사한다.