[논문 리뷰] Demystifying Inter-Class Disentanglement

Aviv Gabbay, Yedid Hoshen|arXiv (Cornell University)|2019. 06. 27.

Digital Media Forensic Detection참고 문헌 29인용 수 9

한 줄 요약

이 논문은 공유 잠재 최적화와 비대칭 노이즈 정규화를 사용하여 최첨단의 분리 성능를 달성하는 비적대적 방법인 LORD를 제안한다. 학습 중에 클래스별 잠재 코드를 최적화하고 이를 피드포워드 인코더에 정수화함으로써, 새로운 이미지에 대해 빠르고 일반화 가능한 추론을 가능하게 하면서도 클래스 표현과 콘텐츠 표현 간의 정보 泄漏를 최소화한다.

ABSTRACT

Learning to disentangle the hidden factors of variations within a set of observations is a key task for artificial intelligence. We present a unified formulation for class and content disentanglement and use it to illustrate the limitations of current methods. We therefore introduce LORD, a novel method based on Latent Optimization for Representation Disentanglement. We find that latent optimization, along with an asymmetric noise regularization, is superior to amortized inference for achieving disentangled representations. In extensive experiments, our method is shown to achieve better disentanglement performance than both adversarial and non-adversarial methods that use the same level of supervision. We further introduce a clustering-based approach for extending our method for settings that exhibit in-class variation with promising results on the task of domain translation.

연구 동기 및 목표

• 기존의 분리 방법에서 클래스 표현과 콘텐츠 표현 간의 정보 泄漏 문제를 해결하기 위해.
• 이미지의 클래스 정체성과 콘텐츠 변형을 분리하기 위한 비적대적이고 확장 가능한 방법을 개발하기 위해.
• 두 단계의 암시적 최적화 과정을 통해 새로운 테스트 이미지에 대해 빠르고 일반화 가능한 추론을 가능하게 하기 위해.
• 클러스터링을 통한 고클래스 수 설정(예: 10,000개 클래스) 및 클래스 내 스타일 변형을 위한 분리 확장하기 위해.
• 적대적 또는 KL 기반 제약 조건 대비 인지적 손실과 비대칭 정규화의 효과성을 입증하기 위해.

제안 방법

• 클래스당 하나의 공유 잠재 코드를 학습하기 위해 잠재 최적화를 활용하여, 샘플 간 변동성을 최소화하고 정보 泄漏를 감소시킨다.
• 콘텐츠 코드에 비대칭 노이즈 정규화를 적용하여 클래스 불변성을 강제하고 분리 성능를 향상시킨다.
• 두 단계 훈련 과정을 사용한다: 첫 번째 단계에서 공유된 클래스 및 콘텐츠 코드를 최적화하고, 두 번째 단계에서 피드포워드 인코더를 훈련시켜 새로운 테스트 이미지에 일반화할 수 있도록 한다.
• 잠재 최적화 중에 재구성 품질 향상과 훈련 안정화를 위해 ImageNet 사전 훈련된 인지적 손실을 사용한다.
• 클러스터링 기반 확장 기법을 도입하여 클래스 내 스타일 변형을 분리하고, 얼굴과 애니메이션 같은 도메인 간 도메인 번역을 가능하게 한다.
• 적대적 훈련을 회피하고, 구조적 정규화와 최적화에 의존하여 분리를 달성한다.

실험 결과

연구 질문

• RQ1 공유 잠재 최적화가 암시적 추론보다 분리된 클래스 및 콘텐츠 표현을 학습하는 데 더 우수한 성능을 낼 수 있는가?
• RQ2 비대칭 노이즈 정규화가 적대적 제약 조건이나 KL 발산보다 더 나은 분리 성능를 낼 수 있는가?
• RQ3 두 단계의 암시적 최적화 과정이 잠재 최적화 이후 새로운 테스트 이미지에 대해 빠르고 일반화 가능한 추론을 가능하게 할 수 있는가?
• RQ4 10,000개 클래스와 같은 고클래스 수 설정에서 이 방법의 효과성은 어떠한가?
• RQ5 클러스터링 기반 스타일 분리 기법이 클래스 내 스타일 변형에 대해 효과적인 도메인 번역을 가능하게 할 수 있는가?

주요 결과

• LORD는 적대적 및 비적대적 기준 모두에서 최첨단의 분리 성능를 달성하여, β-VAE, Factor-VAE, cycle-GAN와 같은 기존 방법들을 능가한다.
• 잠재 최적화 덕분에 콘텐츠 코드에서 클래스 표현으로의 정보 泄漏가 크게 감소하였으며, 이는 콘텐츠 코드로부터의 클래스 분류 정확도가 거의 0에 수렴함으로써 입증된다.
• 10,000개 클래스 설정에서도 높은 품질의 분리를 달성하여 확장성의 우수성을 입증한다.
• 두 번째 단계의 암시적 최적화 과정은 테스트 시 추론 속도와 일반화 능력을 크게 향상시켜 직접 잠재 최적화 방식을 능가한다.
• 비대칭 노이즈 정규화가 KL 발산과 적대적 제약 조건 모두보다 클래스 정보가 콘텐츠 코드로 泄漏되는 것을 더 효과적으로 줄였다.
• 클러스터링 기반 확장 기법은 얼굴과 애니메이션 간 효과적인 도메인 번역을 가능하게 하여, 클래스 내 스타일 변형에 대한 강건성을 입증한다.