[논문 리뷰] Learning Autoencoders with Relational Regularization

Hongteng Xu, Dixin Luo외 3명|arXiv (Cornell University)|2020. 02. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 18

한 줄 요약

이 논문은 이미지 생성 성능을 향상시키고 서로 다른 잠재 공간을 가진 이질적 오토인코더의 공동 훈련을 가능하게 하기 위해, 구조적이고 학습 가능한 사전 분포를 학습하는 데 융합된 그로모프-워샤르스타인(Gromov-Wasserstein, FGW) 거리를 사용하는 관계 정규화 오토인코더(Relational Autoencoder, RAE)를 제안한다. 이 방법은 VAE, WAE 및 그 변종보다 우수한 성능을 보이며, 다중 시각 학습 작업에서 최신 기술 수준의 결과를 달성한다.

ABSTRACT

A new algorithmic framework is proposed for learning autoencoders of data distributions. We minimize the discrepancy between the model and target distributions, with a \emph{relational regularization} on the learnable latent prior. This regularization penalizes the fused Gromov-Wasserstein (FGW) distance between the latent prior and its corresponding posterior, allowing one to flexibly learn a structured prior distribution associated with the generative model. Moreover, it helps co-training of multiple autoencoders even if they have heterogeneous architectures and incomparable latent spaces. We implement the framework with two scalable algorithms, making it applicable for both probabilistic and deterministic autoencoders. Our relational regularized autoencoder (RAE) outperforms existing methods, $e.g.$, the variational autoencoder, Wasserstein autoencoder, and their variants, on generating images. Additionally, our relational co-training strategy for autoencoders achieves encouraging results in both synthesis and real-world multi-view learning tasks. The code is at https://github.com/HongtengXu/ Relational-AutoEncoders.

연구 동기 및 목표

• 고정되거나 잘 지정되지 않은 사전 분포로 인해 발생하는 오토인코더의 과정정규화 및 과소정규화 문제를 해결하기 위해.
• 다중 시각 학습에서 서로 다른 아키텍처와 비교할 수 없는 잠재 공간을 가진 오토인코더의 효과적인 공동 훈련을 가능하게 하기 위해.
• 사전 분포와 후행 분포 간의 구조적 차이를 포착하는 유연하고 관계 기반의 정규화 프레임워크를 개발하기 위해.
• 기존의 표준 정규분포와 같은 고정된 분포가 아닌, 데이터 기반의 구조적 사전 분포를 학습함으로써 생성 모델링 성능을 향상시키기 위해.
• 잠재 표현 간의 관계 기반 제약 조건을 활용하여, 쌍방향이 아닌 다중 시각 데이터에 대한 오토인코더의 적용 가능성을 확장하기 위해.

제안 방법

• 사전 분포와 후행 분포 내 샘플 간의 구조적 관계를 비교하기 위해 융합된 그로모프-워샤르스타인(Fused Gromov-Wasserstein, FGW) 거리 기반의 관계 정규화자를 제안한다.
• FGW 거리를 사용하여 학습 가능한 잠재 사전 분포와 인코딩된 데이터로부터 유도된 후행 분포 간의 차이를 정규화함으로써, 구조적 사전 분포 학습을 가능하게 한다.
• 확률적 및 결정적 오토인코더 모두에 적용 가능한 스케일링을 위해 FGW의 계층적 및 슬라이스된 근사 기법을 적용한다.
• 다른 아키텍처와 잠재 공간 차원을 가진 여러 오토인코더의 후행 분포에 관계 정규화를 적용하여, 서로 다른 오토인코더의 공동 훈련을 가능하게 한다.
• 계산 효율성을 확보하기 위해 계층적 FGW와 슬라이스된 FGW를 위한 두 가지 확장 가능한 알고리즘을 구현한다.
• 재구성 손실과 관계 정규화를 결합한 이완된 워샤르스타인 거리 최소화 목표를 활용하여 오토인코더를 훈련한다.

실험 결과

연구 질문

• RQ1 FGW 거리 기반의 관계 정규화자가 구조적 사전 분포를 학습함으로써 오토인코더의 생성 모델링 품질을 향상시킬 수 있는가?
• RQ2 제안된 관계 정규화가 학습 가능한 사전 분포를 가진 오토인코더에서 과소정규화 및 과정정규화 문제를 완화하는가?
• RQ3 서로 다른 잠재 공간을 가진 이질적 오토인코더가 후행 분포 간의 관계 제약 조건을 통해 효과적으로 공동 훈련될 수 있는가?
• RQ4 기존 기준 대비 관계 기반 공동 훈련 전략이 쌍방향이 아닌 다중 시각 학습 작업에서 어떻게 성능을 내는가?
• RQ5 관계 정규화자가 다중 시각 설정에서 이미지 생성 품질과 후속 분류 정확도에 미치는 영향은 무엇인가?

주요 결과

• 관계 정규화 오토인코더(Relational Autoencoder, RAE)는 VAE, WAE 및 그 변종보다 이미지 생성에서 더 우수한 성능을 보이며, 더 다양하고 의미적으로 유의미한 샘플을 생성한다.
• 이 방법은 고정된 정규분포 사전 분포에 의존하지 않고도 과소정규화를 억제하는 구조적이고 데이터 기반의 사전 분포를 성공적으로 학습하여 생성 품질을 향상시킨다.
• 다중 시각 학습 작업에서 제안된 관계 공동 훈련 전략(AEs+GW)은 Caltech101-7에서 84.29%의 정확도를 달성하여, AEs+CoReg(76.58%) 및 AEs+CCA(80.24%)와 같은 기준 기반 방법들을 능가한다.
• Caltech101-20에서는 69.39%의 정확도, Handwritten에서는 72.36%의 정확도를 기록하여, 모든 데이터셋에서 비교된 모든 기준 기반 방법들을 초월한다.
• 관계 기반 공동 훈련 프레임워크는 쌍방향이 아닌 데이터에서도 효과적이며, 서로 다른 아키텍처와 잠재 공간 차원을 가진 오토인코더 간에도 작동한다.
• 계층적 및 슬라이스된 FGW 근사 기법은 확률적 및 결정적 오토인코더 모두에 대해 관계 정규화자를 효과적이고 스케일링 가능한 방식으로 구현하는 데 기여한다.