[논문 리뷰] Training Triplet Networks with GAN

Maciej Zięba, Lei Wang|arXiv (Cornell University)|2017. 04. 06.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

이 논문은 생성적 적대 신경망(GAN) 프레임워크에 트리플릿 네트워크를 통합하여, 트리플릿 네트워크를 디스criminator로 사용함으로써 새로운 방법으로 트리플릿 네트워크를 훈련시킨다. 특징 매칭과 준지도 학습을 활용하여, 단지 16개의 특징만으로도 상태의 성능을 달성하며, 간단한 k-NN 분류기로 MNIST에서 97.50%의 정확도와 CIFAR-10에서 80.97%의 정확도를 기록한다. 이는 라벨이 부족한 트리플릿 예제를 가진 상황에서도 성립한다.

ABSTRACT

Triplet networks are widely used models that are characterized by good performance in classification and retrieval tasks. In this work we propose to train a triplet network by putting it as the discriminator in Generative Adversarial Nets (GANs). We make use of the good capability of representation learning of the discriminator to increase the predictive quality of the model. We evaluated our approach on Cifar10 and MNIST datasets and observed significant improvement on the classification performance using the simple k-nn method.

연구 동기 및 목표

• GAN의 표현 학습 능력을 활용하여 메트릭 학습에서 트리플릿 네트워크 성능을 향상시키는 것.
• 메트릭 학습에서 라벨이 부족한 트리플릿 문제를 해결하기 위해 비지도 GAN 학습과 지도 트리플릿 학습을 결합하는 것.
• 간단한 k-NN 분류기를 사용하여 최소한의 특징으로도 높은 분류 정확도를 달성할 수 있음을 보여주는 것.
• GAN의 디스criminator가 실재 샘플과 가짜 샘플을 구분하는 것 외에도 트리플릿 기반 메트릭 표현을 학습하는 이중 기능을 수행하는 통합 프레임워크를 제공하는 것.

제안 방법

• 트리플릿 네트워크를 GAN의 디스criminator로 사용하며, 그 특징 레이어를 메트릭 학습의 출력으로 활용한다.
• 디스criminator는 지도 트리플릿 손실(쿼리, 양성, 음성 예제 기반)과 실재/가짜 구분을 위한 비지도 GAN 손실을 병합하여 훈련한다.
• 생성자 훈련 중 특징 매칭을 적용하여, 생성자에서 실재와 생성된 특징 활성화 간의 L2 거리가 최소화되도록 한다.
• 디스criminator의 출력층을 수정하여 시그모이드 함수를 사용하여 트리플릿 네트워크의 특징 출력 기반 확률 점수를 생성한다.
• 디스criminator는 트리플릿 손실과 GAN 손실을 모두 사용하여 업데이트하고, 생성자는 특징 매칭을 통해 업데이트하는 방식으로 교차 훈련한다.
• 대규모 데이터셋(예: CIFAR-10)에서 트리플릿 수의 균형을 맞추기 위해 하드 마이닝을 적용한다.

실험 결과

연구 질문

• RQ1 트리플릿 네트워크가 GAN 프레임워크 내에서 효과적으로 훈련되어 메트릭 표현 학습이 향상될 수 있는가?
• RQ2 비지도 GAN 학습과 지도 트리플릿 학습을 결합하면, 라벨 데이터가 부족한 상황에서 성능 향상이 이루어지는가?
• RQ3 간단한 k-NN 분류기를 사용하여 단지 16개의 특징만으로도 높은 분류 정확도를 달성할 수 있는가?
• RQ4 제안된 방법이 별도로 트리플릿 네트워크나 GAN을 훈련시키는 것과 비교해 어떻게 성능을 냅니다?

주요 결과

• 제안된 방법은 단지 16개의 특징과 k-NN 분류기를 사용하여 MNIST에서 97.50%의 분류 정확도, CIFAR-10에서 80.97%의 정확도를 달성하였으며, 독립적으로 학습된 트리플릿 모델과 GAN 모델을 모두 초월하였다.
• MNIST에서 16개의 특징과 100개의 라벨 예제를 사용할 경우, 97.50%의 정확도를 기록하였으며, 이는 Hoffer & Ailon(2015)이 보고한 87.10%의 정확도를 뛰어넘었다.
• MNIST에서 256개의 특징을 사용할 경우, 98.68%의 정확도를 달성하여 특징 차원 수가 증가함에 따라 성능이 선형적으로 향상됨을 보여주었다.
• 단일 GAN(96.48% 정확도, MNIST; 55.39% 정확도, CIFAR-10)과 단일 트리플릿 네트워크(81.27% 정확도, MNIST; 70.76% 정확도, CIFAR-10)보다 뚜렷하게 뛰어난 성능을 보였으며, 특히 CIFAR-10에서 두드러진 성능 향상을 보였다.
• 생성자 훈련 중 특징 매칭을 적용함으로써 트리플릿 네트워크의 특징 표현 품질이 향상되었고, 이는 후속 분류 성능 향상에 기여하였다.
• 최소한의 라벨 데이터 조건에서도 효과적이었으며, CIFAR-10에서 5,000개의 라벨 예제, MNIST에서 100개의 라벨 예제만으로도 뛰어난 성능을 보였다.