[논문 리뷰] Learning Independent Features with Adversarial Nets for Non-linear ICA

Philémon Brakel, Yoshua Bengio|arXiv (Cornell University)|2017. 10. 13.

Blind Source Separation Techniques참고 문헌 18인용 수 51

한 줄 요약

이 논문은 Adversarial Non-linear ICA (ANICA)를 제시하며, GAN 기반 목표를 사용해 선형 및 비선형 ICA를 위한 통계적으로 독립적인 특징을 학습하고, 재샘플링 또는 별도 한계 도구를 통해 독립적 특징을 학습합니다. 합성 데이터와 음향 혼합에서 시연합니다.

ABSTRACT

Reliable measures of statistical dependence could be useful tools for learning independent features and performing tasks like source separation using Independent Component Analysis (ICA). Unfortunately, many of such measures, like the mutual information, are hard to estimate and optimize directly. We propose to learn independent features with adversarial objectives which optimize such measures implicitly. These objectives compare samples from the joint distribution and the product of the marginals without the need to compute any probability densities. We also propose two methods for obtaining samples from the product of the marginals using either a simple resampling trick or a separate parametric distribution. Our experiments show that this strategy can easily be applied to different types of model architectures and solve both linear and non-linear ICA problems.

연구 동기 및 목표

• 상호 정보가 추정하기 어려울 때 독립 성분 학습의 도전과제를 동기화하고 형식화한다.
• 학습된 특징 간의 의존성을 암시적으로 최소화하는 적대적 프레임워크를 제안한다.
• Decoder와 함께 인코더-디코더 아키텍처를 개발하여 독립성을 강제하면서 입력 정보를 보존한다.
• 음성 소스 분리 등 선형 및 비선형 ICA 작업에 대한 적용 가능성을 시연한다.
• 곱의 주변 분포를 위한 실용적 샘플링 전략을 제공하고 학습 역학을 조사한다.

제안 방법

• 잠재 특징 Z의 결합 분포와 주변 분포의 곱 사이의 발산을 판별기로 최소화하기 위한 GAN 스타일 학습을 사용한다.
• 주변 분포의 곱에서 샘플을 얻는 방법은 결합 샘플을 재샘플링하거나 별도 주변 분포 생성기 네트워크를 학습하여 얻는다.
• 잠재 코드를 재구성하고 정보성을 보장하기 위해 디코더를 갖춘 오토인코더 설정을 도입한다(F와 V).
• 훈련을 안정화하고 저 degenerative 해를 피하기 위해 판별기에 입력하기 전에 잠재 특징을 정규화한다.
• F 인코더와 디코더 V를 통해 X 데이터에서 서로 독립적인 구성요소를 학습하는 비선형 ICA에 프레임워크를 적용하고 보조 판별기 D를 사용한다.
• 선형, 포스트-비선형 및 과다 결정(non-determined) 비선형 혼합에 대해 FastICA 및 MISEP 기준선과 비교하여 실험한다.

실험 결과

연구 질문

• RQ1 GAN 기반 목표가 ICA 설정에서 명시적 밀도 추정 없이 독립성 척도(예: 상호정보)를 근사할 수 있는가?
• RQ2 오 autoencoder 재구성과 결합된 GAN 기반 목표가 선형 및 비선형 ICA 문제에서 독립 구성요소 학습을 가능하게 하는가?
• RQ3 재샘플링과 별도 주변 생성기가 이 프레임워크에서 곱의 주변 분포 샘플 생성을 위해 어떻게 비교되는가?
• RQ4 제안된 ANICA 모델이 서로 다른 아키텍처 및 데이터 유형(합성 신호 및 음성)에서 소스 분리에 효과적인가?
• RQ5 적대적 ICA를 위한 실용적 학습 및 모델 선택 고려사항은 무엇인가?

주요 결과

• 대적적 목표는 독립성을 효과적으로 촉진하고 선형 및 비선형 ICA 작업을 해결할 수 있다.
• 재샘플링 기반 ANICA는 합성 선형 및 비선형 혼합에서 높은 상관도를 달성했다(예: Anica: Linear 0.9987, PNL 0.9794, MLP 0.9667).
• Anica-g(별도 주변 생성기)는 선형 작업에서 좋은 성능을 보였으나 비선형 작업에서 하이퍼파라미터 튜닝에 따라 가변성을 보였다.
• 음향 데이터에서 선형 ICA는 높은 정밀도와 일치했고, PNL 작업은 재샘플링 ANICA가 MISEP와 같은 기준선보다 더 우수한 성능을 보였다.
• PNLMISEP은 포스트-비선형 혼합에서 강력한 기준선으로 남아있고, FastICA는 일부 선형 케이스에서 여전히 경쟁력이 있다.
• 안정성(시드 간 표준편차)을 통한 모델 선택이 분리 성능 평가에 대한 평균 목표값보다 더 신뢰할 수 있는 방법이었다.