[논문 리뷰] Training Group Orthogonal Neural Networks with Privileged Information

Yunpeng Chen, Xiaojie Jin외 2명|arXiv (Cornell University)|2017. 01. 24.

Advanced Neural Network Applications참고 문헌 14인용 수 10

한 줄 요약

이 논문은 훈련 중에 특수한 세분화 주석을 활용하여 딥 컨볼루션 네트워크의 특징 다양성과 일반화 능력을 향상시키는 그룹 수직 컨볼루션 신경망(GoCNN)을 제안한다. 전경 및 배경 영역으로 그룹화된 컨볼루션 필터 간의 수직성을 강제하여 GoCNN은 더 분리되고 진단 가능한 표현을 학습하며, 훈련 이미지의 10%만 세분화 주석을 제공하는 조건에서 ImageNet에서 ResNet-152보다 1.2%p의 절대 상위-1 정확도 향상을 달성한다.

ABSTRACT

Learning rich and diverse representations is critical for the performance of deep convolutional neural networks (CNNs). In this paper, we consider how to use privileged information to promote inherent diversity of a single CNN model such that the model can learn better representations and offer stronger generalization ability. To this end, we propose a novel group orthogonal convolutional neural network (GoCNN) that learns untangled representations within each layer by exploiting provided privileged information and enhances representation diversity effectively. We take image classification as an example where image segmentation annotations are used as privileged information during the training process. Experiments on two benchmark datasets -- ImageNet and PASCAL VOC -- clearly demonstrate the strong generalization ability of our proposed GoCNN model. On the ImageNet dataset, GoCNN improves the performance of state-of-the-art ResNet-152 model by absolute value of 1.2% while only uses privileged information of 10% of the training images, confirming effectiveness of GoCNN on utilizing available privileged knowledge to train better CNNs.

연구 동기 및 목표

• 딥 컨볼루션 네트워크 훈련 중에 내재된 특징 다양성을 향상시키는 원칙적인 방법의 부족을 해결하기 위해.
• 특수 정보—구체적으로 이미지 세분화 주석—이 단일 컨볼루션 네트워크 모델에서 다양성을 명시적으로 증진시킬 수 있는지 탐색하기 위해.
• 배경 특징과 더 풍부한 주석이 딥 러닝에서 객체 인식에 기여하는지 조사하기 위해.
• 그룹별 수직성을 통해 전경 및 배경 표현을 분리하여 학습하는 새로운 아키텍처를 개발하기 위해.

제안 방법

• 세분화 주석을 특수 정보로 사용하여 전경 및 배경 영역에 따라 컨볼루션 필터를 그룹화하는 딥 컨볼루션 네트워크 아키텍처인 GoCNN을 제안한다.
• 다른 그룹에서 생성된 특징 맵 간의 수직성을 강제하여 중복을 줄이고 표현 다양성을 증가시킨다.
• 전경과 배경에 대해 별개의 특징 학습을 장려하고 그룹 출력 간 상관관계를 최소화하기 위해 억제 손실을 도입한다.
• 표준 교차 엔트로피 손실에 그룹 수직성 정규화를 결합하여 모델을 엔드 투 엔드로 훈련시킨다.
• 세분화 주석은 훈련 시에만 사용되며 추론 시에는 필요하지 않아 표준 모델로의 구현이 가능하다.
• ResNet과 같은 표준 컨볼루션 네트워크에 프레임워크를 적용하여 표준 컨볼루션 레이어를 GoCNN 모듈로 대체한다.

실험 결과

연구 질문

• RQ1 특수 세분화 주석이 단일 딥 컨볼루션 네트워크에서 특징 다양성을 향상시키는 데 효과적으로 사용될 수 있는가?
• RQ2 전경 및 배경 표현을 분리하여 학습하는 것이 이미지 분류에서 일반화 능력을 향상시키는가?
• RQ3 딥 러닝 모델에서 객체 인식에 배경 정보가 유용한가?
• RQ4 인스턴스 세분화와 같은 더 풍부한 주석이 분류 네트워크 훈련을 크게 향상시킬 수 있는가?

주요 결과

• GoCNN은 훈련 이미지의 10%만 세분화 주석을 제공하는 조건에서 ImageNet에서 ResNet-152보다 1.2%p의 상위-1 정확도 향상을 달성한다.
• ImageNet-0.1m 서브셋에서 GoCNN은 80%의 특수 정보를 사용할 경우 48.6%의 상위-1 정확도를 기록하며, 주석 커버리지가 증가함에 따라 단조롭게 향상됨을 보였다.
• 전체 ImageNet에서 10%의 특수 정보를 사용할 경우 GoCNN은 상위-1 오차를 ResNet-152의 23.0%에서 21.8%로 감소시켰다.
• 모델은 테스트 데이터에 포함되지 않은 이미지에서도 전경 및 배경 진단 특징을 학습하며, 강건성과 분리성의 가능성을 입증했다.
• 실험 결과 배경 특징이 객체 인식에 의미 있게 기여함을 확인하였으며, 배경이 무시 가능하다는 기존의 가정에 도전한다.
• 이 연구는 세분화 주석이 딥 러닝에서 특수 정보로 사용될 경우 분류 성능을 크게 향상시킬 수 있다는 첫 번째 증거를 제공한다.