[논문 리뷰] Universal representations:The missing link between faces, text, planktons, and cat breeds

Hakan Bilen, Andrea Vedaldi|arXiv (Cornell University)|2017. 01. 25.

Advanced Image and Video Retrieval Techniques참고 문헌 52인용 수 127

한 줄 요약

이 논문은 하나의 신경망이 매우 다양한 시각 도메인에서 보편적 표현을 학습할 수 있는지 여부를 조사하고, 도메인별 스케일링 또는 인스턴스 정규화를 포함한 적절한 정규화를 통해 광범위한 공유가 가능하다는 것을 보여준다.

ABSTRACT

With the advent of large labelled datasets and high-capacity models, the performance of machine vision systems has been improving rapidly. However, the technology has still major limitations, starting from the fact that different vision problems are still solved by different models, trained from scratch or fine-tuned on the target data. The human visual system, in stark contrast, learns a universal representation for vision in the early life of an individual. This representation works well for an enormous variety of vision problems, with little or no change, with the major advantage of requiring little training data to solve any of them. In this paper we investigate whether neural networks may work as universal representations by studying their capacity in relation to the “size” of a large combination of vision problems. We do so by showing that a single neural network can learn simultaneously several very different visual domains (from sketches to planktons and MNIST digits) as well as, or better than, a number of specialized networks. However, we also show that this requires to carefully normalize the information in the network, by using domain-specific scaling factors or, more generically, by using an instance normalization layer.

연구 동기 및 목표

• 많이 다른 도메인(얼굴, 텍스트, 플랭톤, 스케치 등)에서도 보편적인 시각 표현이 작동할 수 있다는 아이디어를 고무한다.
• 하나의 네트워크가 동시에 여러 다양한 비전 문제를 학습하는 데 필요한 용량을 평가한다.
• 다양한 공유 전략과 정규화 기법이 교차 도메인 성능에 어떤 영향을 미치는지 평가한다.
• 공유된 네트워크 내에서 효과적인 도메인 적응을 가능하게 하는 정규화 체계를 식별한다.

제안 방법

• 여러 도메인에서의 학습을 공유된 청사진 phi_0와 도메인별 어댑터 phi_d'를 최소화하는 평균 위험도 문제로 공식화한다.
• 레이어 후에 적용되는 도메인 의존 스케일링 s_d와 바이어스 b_d를 이용한 적응된 특징 공유를 제안하고 매개변수를 선택하는 도메인 mux를 도입한다.
• 배치 정규화(BN)와 인스턴스 정규화(IN)를 도메인별 또는 보편적 스케일링/모멘트와 함께 통합하고, BN+, IN 변형을 연구한다.
• 도메인을 균형 있게 다루기 위해 순환 방식으로 순수 도메인 미니배치를 사용하여 네트워크를 학습하고 도메인별 BN 모멘트를 가능하게 한다.
• 깊은 공유, 부분적 공유 등 공유 깊이를 실험하고 네트워크 용량을 확장하여 교차 도메인 성능을 평가한다.
• 확장성을 평가하기 위해 소규모(10개의 다양한 데이터셋) 및 대규모(ImageNet, VGG-Face, Synth90k) 설정에서 테스트한다.]
• research_questions: ["단일 CNN이 성능 저하 없이 매우 다양한 시각 도메인 간에 매개변수를 공유할 수 있는가?",

실험 결과

연구 질문

• RQ1 단일 CNN이 성능 저하 없이 매우 다양한 시각 도메인 간에 매개변수를 공유할 수 있는가?
• RQ2 공유 구조의 양(전면 공유, 심층 공유, 부분 공유)이 교차 도메인 성능에 어떻게 영향을 미치는가?
• RQ3 어떤 정규화 전략이 교차 도메인 보편 표현을 가장 잘 지원하는가(BN과 도메인별 파라미터 대 보편 파라미터, IN, BN+)
• RQ4 도메인 간 공유가 강제될 때 모델 용량을 늘리는 것이 공동 성능에 어떤 영향을 미치는가?
• RQ5 새로운 도메인에 대한 보편 표현을 가능하게 하는 도메인 무관(normalization) 정규화의 실용성은 어느 정도인가?

주요 결과

• 단일 CNN이 CIFAR-10, MNIST, SVHN과 같이 다양하 데이터셋에 걸쳐 모든 층을 공유하더라도 성능 저하가 없다.
• 깊은 공유(마지막 분류기 빼고 모든 층을 공유)는 종종 매개변수를 줄이면서 도메인별 네트워크를 학습시키는 것보다 더 나은 성능을 보인다.
• 도메인별 스케일링 매개변수를 갖춘 전체 공유는 여러 도메인에서 개별 모델에 거의 비등한 성능을 달성하고 용량 증가의 이점을 얻는다.
• 도메인별 BN 모멘트와 스케일링은 교차 도메인 성능을 향상시키며, 인스턴스 정규화는 더 적은 도메인별 매개변수로도 경쟁력 있는 보편 표현을 제공할 수 있다.
• 보편 스케일링이 적용된 인스턴스 정규화는 도메인 간에 단일 매개변수 세트로 작동할 수 있어 실용적 보편성을 제공하되, 성능 비용은 다소 있다.
• 대규모 작업에서 ImageNet과 VGG-Face 간의 컨볼루션 가중치 공유는 성능을 근접하게 유지하고, Synth90k와의 공동 학습은 매개변수 효율성과 확장 가능한 공유를 크게 보여준다.