[논문 리뷰] BinGAN: Learning Compact Binary Descriptors with a Regularized GAN

Maciej Zięba, Piotr Semberecki외 2명|arXiv (Cornell University)|2018. 06. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 27인용 수 38

한 줄 요약

이 논문은 중간 판별기 특징을 활용하여 압축되고 고도로 구분 가능한 이진 이미지 기술자를 학습하는 정규화된 GAN 프레임워크인 BinGAN을 제안한다. 거리 일치 정규화기(DMR)와 조정된 이진화 표현 엔트로피(BRE) 정규화기를 도입함으로써 BinGAN은 고차원 특징에서 저차원 이진 코드로의 해밍 거리를 유지하며, 메모리와 계산 비용을 최소화하면서도 이미지 매칭 및 검색에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel regularization method for Generative Adversarial Networks, which allows the model to learn discriminative yet compact binary representations of image patches (image descriptors). We employ the dimensionality reduction that takes place in the intermediate layers of the discriminator network and train binarized low-dimensional representation of the penultimate layer to mimic the distribution of the higher-dimensional preceding layers. To achieve this, we introduce two loss terms that aim at: (i) reducing the correlation between the dimensions of the binarized low-dimensional representation of the penultimate layer i. e. maximizing joint entropy) and (ii) propagating the relations between the dimensions in the high-dimensional space to the low-dimensional space. We evaluate the resulting binary image descriptors on two challenging applications, image matching and retrieval, and achieve state-of-the-art results.

연구 동기 및 목표

• 가장자리 학습과 비가장자리 학습 간의 성능 격차를 줄이기 위해 GAN을 활용하는 것.
• 고차원 중간 특징에서 구분 능력을 유지하면서도 압축된 저차원 이진 표현을 학습하는 것.
• 고차원 기술자와 관련된 메모리 및 계산 비용을 줄이면서도 매칭 및 검색 정확도를 유지하거나 향상시키는 것.
• GAN의 생성기로부터 합성 데이터 생성을 통해 준지도 학습을 가능하게 하는 것.
• 특징 공간 차원 간의 샘플 간 관계를 유지하는 새로운 정규화 기법을 개발하는 것.

제안 방법

• 방법은 GAN 판별기의 두 번째 마지막 층을 압축된 이진 기술자로 사용하며, 고차원 특징에서 저차원 이진 표현으로의 해밍 거리 유지에 기여하는 새로운 거리 일치 정규화기(DMR)를 사용하여 훈련한다.
• DMR 항목은 고차원 특징에서의 해밍 거리와 그에 해당하는 저차원 이진 표현 간의 격차를 최소화하여 유사한 패치들이 이진 공간에서도 가까이 유지되도록 보장한다.
• 비상관 이진 벡터 쌍의 연합 엔트로피를 최대화하기 위해 조정된 이진화 표현 엔트로피(BRE) 정규화기를 도입하여 다양성을 향상시키고 이진 코드북의 모드 붕괴를 방지한다.
• 모델은 적대적 손실, DMR, BRE 정규화를 조합하여 엔드 투 엔드로 훈련되며, 이로써 네트워크는 압축되면서도 구분 능력이 뛰어난 이진 코드를 학습할 수 있다.
• 생성기 네트워크는 실제적인 이미지 패치를 생성하도록 훈련되어 데이터 증강 및 준지도 미세조정을 가능하게 한다.
• 최종 이진 기술자는 이진화 이후 판별기의 두 번째 마지막 층에서 추출되며, 추가 헤드나 헤드 훈련 없이도 작동한다.

실험 결과

연구 질문

• RQ1 가장자리 학습 방법의 성능에 도달하거나 초월하는 압축된 이진 이미지 기술자를 GAN 기반 아키텍처가 쌍의 레이블 없이 학습할 수 있는가?
• RQ2 고차원 특징 공간에서 이미지 패치 간의 해밍 거리 관계를 저차원 이진 표현으로 효과적으로 전이할 수 있는가?
• RQ3 특징 공간의 압축된 코드 공간에서 샘플 간 거리 관계를 유지하면서도 비상관 이진 벡터 쌍의 엔트로피를 최대화할 수 있는 정규화 전략은 무엇인가?
• RQ4 GAN의 생성기가 실제 패치와 의미적으로 유사한 실재감 있는 이미지 패치를 생성할 수 있는가? 이를 통해 효과적인 데이터 증강이 가능한가?
• RQ5 제안된 DMR 및 BRE 정규화기가 각각 및 함께 최종 기술자 성능에 얼마나 기여하는가?

주요 결과

• Brown 데이터셋에서 BinGAN은 모든 비가장자리 이진 기술자 중에서 FPR@95%가 가장 낮으며, Yosemite 서브셋에서 DMR 및 BRE 정규화기를 모두 사용할 경우 16.88%를 기록한다.
• DMR 정규화기를 포함시킴으로써 Yosemite에서 FPR@95%는 기본 GAN의 32.72%에서 16.88%로 감소하여 성능 향상이 뚜렷하게 나타난다.
• 조정된 BRE 정규화기를 추가로 적용함으로써 Liberty 서브셋에서 FPR@95%는 30.76%로 더욱 향상되었으며, 이는 코드의 다양성과 강건성이 향상되었음을 시사한다.
• 생성기 네트워크는 실제 패치와 시각적으로 유사한 합성 패치를 생성하며, 실제 패치와 가장 가까운 합성 패치는 종종 이진 기술자 공간에서 구분이 불가능하다.
• 제거 실험 결과, DMR 및 BRE 정규화기 중 어느 하나라도 제거할 경우 모든 테스트 서브셋에서 성능이 뚜렷이 저하됨을 확인하여 두 정규화기가 필수적임을 입증한다.
• 비가장자리 학습임에도 불구하고 BinGAN은 DBD-MQ, D-BRIEF, BinBoost와 같은 최신 기술 수준의 방법들을 초월하여 이미지 매칭 및 검색 작업에서 뛰어난 성능을 달성한다.