[논문 리뷰] Improving Disentangled Representation Learning with the Beta Bernoulli Process

Prashnna Gyawali, Zhiyuan Li외 5명|arXiv (Cornell University)|2019. 09. 03.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 4

한 줄 요약

이 논문은 인도 버버넷 프로세스(IBP)를 비모수적 사전확률로 사용하여 분리된 표현 학습을 향상시키는 변동형 오토인코더(IBP-VAE)를 제안한다. 더 풍부한 사후 모델링 능력을 유지하면서도 요인 간 독립성을 유지함으로써 IBP-VAE는 복잡한 데이터에서 특히 더 나은 분리도를 달성하며, MNIST, 3D 체어, dSprites 및 임상용 심전도와 피부 병변 데이터셋에서 최신 기술을 초월한다. 이는 부수적 요인의 더 나은 분리도와 더 나은 후행 작업 정확도를 제공한다.

ABSTRACT

To improve the ability of VAE to disentangle in the latent space, existing works mostly focus on enforcing independence among the learned latent factors. However, the ability of these models to disentangle often decreases as the complexity of the generative factors increases. In this paper, we investigate the little-explored effect of the modeling capacity of a posterior density on the disentangling ability of the VAE. We note that the independence within and the complexity of the latent density are two different properties we constrain when regularizing the posterior density: while the former promotes the disentangling ability of VAE, the latter -- if overly limited -- creates an unnecessary competition with the data reconstruction objective in VAE. Therefore, if we preserve the independence but allow richer modeling capacity in the posterior density, we will lift this competition and thereby allow improved independence and data reconstruction at the same time. We investigate this theoretical intuition with a VAE that utilizes a non-parametric latent factor model, the Indian Buffet Process (IBP), as a latent density that is able to grow with the complexity of the data. Across three widely-used benchmark data sets and two clinical data sets little explored for disentangled learning, we qualitatively and quantitatively demonstrated the improved disentangling performance of IBP-VAE over the state of the art. In the latter two clinical data sets riddled with complex factors of variations, we further demonstrated that unsupervised disentangling of nuisance factors via IBP-VAE -- when combined with a supervised objective -- can not only improve task accuracy in comparison to relevant supervised deep architectures but also facilitate knowledge discovery related to task decision-making. A shorter version of this work will appear in the ICDM 2019 conference proceedings.

연구 동기 및 목표

• 기존 VAE의 사후 모델링 능력에 제약이 있음으로써 복잡한 생성 요인을 분리하는 데에 한계가 있음을 해결하기 위해.
• VAE에서 사후 독립성과 모델링 능력 간의 상충관계를 조사하기 위해, 특히 제한된 능력이 분리도를 약화시킬 수 있는 방식을 이해하기 위해.
• 비모수적 사전확률을 통해 사후 모델링 능력을 높이면서도 요인 간 독립성을 유지함으로써 분리도를 향상시키기 위해.
• 임상 데이터에서 부수적 요인의 비지도 분리가 가능함을 입증하고, 이로 인해 해석 가능성과 후행 작업 성능이 향상됨을 보여주기 위해.
• 기본 데이터셋과 연구가 부족한 임상 데이터셋에서 복잡하고 고차원적인 변형을 가진 데이터에 대해 방법을 검증하기 위해.

제안 방법

• IBP-VAE는 무한한 수의 독립 잠재 요인을 모델링할 수 있도록 비모수적 사전확률로 인도 버버넷 프로세스(IBP)를 사용한다. 이는 탄력적인 사후 모델링 능력을 가능하게 한다.
• IBP 사전확률은 데이터에 따라 모델의 복잡성이 증가하도록 하여, 과도하게 제약된 사후 분포로 인해 발생하는 재구성과 분리도 간의 갈등을 피한다.
• 콘crete 및 Kumaraswamy 분포를 사용하여 IBP의 베르누이 및 베타 변수를 미분 가능하게 근사함으로써, backpropagation를 통한 엔드 투 엔드 학습이 가능해진다.
• 표준 VAE 목표함수에 KL 발산 정규화를 적용하지만, 사전 구조 덕분에 요인 간 독립성이 유지되면서도 더 풍부한 사후 표현이 가능하다.
• 임상 데이터의 경우, 심전도 신호의 심박 조절 아티팩트와 같은 작업 관련 요인과 부수적 요인을 분리하기 위해 조건부 IBP-VAE(cIBP-VAE)를 도입한다.
• 이미지 및 임상 신호 데이터에 적합한 컨볼루션 인코더와 디코더를 사용하며, 배치 정규화와 ReLU 활성화 함수를 적용한다.

Figure 1: Outline of the presented IBP-VAE (blue) for unsupervised disentangled representation learning, and cIBP-VAE (blue and orange) for the combination with supervised task learning.

실험 결과

연구 질문

• RQ1 VAE의 사후 밀도 모델링 능력을 높임으로써 복잡한 생성 요인이 존재할 경우 분리도가 향상되는가?
• RQ2 IBP와 같은 비모수적 사전확률은 더 풍부한 사후 표현을 가능하게 하면서도 요인 간 독립성을 유지할 수 있는가? 이는 재구성과 분리도 간의 갈등을 줄일 수 있는가?
• RQ3 IBP-VAE는 다양한 생성 요인을 가진 벤치마크 데이터셋에서 최신 기술의 분리된 VAE보다 성능이 뛰어나게 작동하는가?
• RQ4 IBP-VAE를 통한 비지도 부수적 요인 분리가 고차원적 변형이 많은 임상 데이터에서 감독 학습 작업 성능을 향상시키는가?
• RQ5 IBP-VAE는 실제 임상 데이터에서 해석 가능하고 의미 있는 요인을 얼마나 잘 드러내고 분리할 수 있는가?

주요 결과

• MNIST, 3D 체어, dSprites에서 IBP-VAE는 시각적 및 정량적 평가에서 β-VAE 및 β-TCVAE와 같은 기존 방법들을 능가하는 최신 기술 수준의 분리도 성능을 달성했다.
• dSprites 데이터셋에서 IBP-VAE는 연속적 요인인 회전과 스케일을 성공적으로 분리하였으며, 분리도 지표를 통해 명확한 분리도가 관찰되었다.
• 심전도 데이터셋에서 cIBP-VAE는 c-VAE보다 심박 조절 아티팩트의 부재를 더 잘 재구성하였다(p < 0.01), 이는 복잡한 부수적 요인을 더 잘 모델링함을 시사한다.
• cIBP-VAE는 표본 간 표현을 교환하고 재구성에서 아티팩트 존재/부재를 전이함으로써 심박 조절 아티팩트 요인을 성공적으로 분리하였다.
• cIBP-VAE에서 트리거 유닛을 비활성화하면 재구성된 신호에 심박 조절 아티팩트가 나타났으며, 이는 특정 부수적 요인의 분리도가 확인된 것이다.
• 임상 피부 병변 분석에서 cIBP-VAE는 c-VAE와 유사한 재구성 정확도를 달성했지만, 아티팩트 관련 요인의 분리도가 뛰어나 더 나은 해석 가능성과 작업 성능을 제공하였다.

Figure 2: [Best viewed in color] (a)-(e): Images generated by traversal along a single latent unit (over a range of [-3, 3]) on the latent representation encoded from a random sample (each row). (f): Triggering capacity of the IBP-VAE: column one: original images; column two: reconstructed images; c