[논문 리뷰] Where and What? Examining Interpretable Disentangled Representations

Xinqi Zhu, Chang Xu외 1명|arXiv (Cornell University)|2021. 04. 07.

Digital Media Forensic Detection인용 수 5

한 줄 요약

이 논문은 공간 수축(Spatial Constriction)과 인지적 단순성(Perceptual Simplicity)이라는 두 가지 핵심 가설을 모델링하여 해석 가능한 분리된 표현을 학습하는 새로운 비지도 접근법을 제안한다. 공간 수축은 각 잠재 코드의 영향을 특정 이미지 영역으로 국한시키고, 인지적 단순성은 각 잠재 차원이 인지적으로 단순한 변형을 캡처하도록 유도한다. 이 방법은 DSprites와 3DShapes에서 최신 기준(SOTA) 성능을 달성하며, 이전의 GAN-기반 및 VAE-기반 모델 대비 더 높은 분리도와 생성 품질을 확보한다.

ABSTRACT

Capturing interpretable variations has long been one of the goals in disentanglement learning. However, unlike the independence assumption, interpretability has rarely been exploited to encourage disentanglement in the unsupervised setting. In this paper, we examine the interpretability of disentangled representations by investigating two questions: where to be interpreted and what to be interpreted? A latent code is easily to be interpreted if it would consistently impact a certain subarea of the resulting generated image. We thus propose to learn a spatial mask to localize the effect of each individual latent dimension. On the other hand, interpretability usually comes from latent dimensions that capture simple and basic variations in data. We thus impose a perturbation on a certain dimension of the latent code, and expect to identify the perturbation along this dimension from the generated images so that the encoding of simple variations can be enforced. Additionally, we develop an unsupervised model selection method, which accumulates perceptual distance scores along axes in the latent space. On various datasets, our models can learn high-quality disentangled representations without supervision, showing the proposed modeling of interpretability is an effective proxy for achieving unsupervised disentanglement.

연구 동기 및 목표

• 지도 없이도 다수의 표현이 정보성과 독립성을 만족하지만 유일하게 해석 가능하지 않은 비지도 분리 표현 학습의 비유일성 문제를 해결하기 위해.
• 지도 없는 환경에서 이전에 미처 활용되지 않았던 해석 가능성 해석 가능성을 지도 없이도 분리 표현을 유도하는 대체 지표로 활용할 수 있는지 탐색하기 위해.
• 잠재 공간에서 국소화되고 인지적으로 단순한 변형을 강제하여 분리된 표현을 학습하는 방법을 개발하기 위해.
• 잠재 축을 따라 누적된 인지적 거리에 기반한 비지도 모델 선택 방법을 제안하기 위해.

제안 방법

• 이미지 생성 중 각 잠재 차원이 특징 맵에 미치는 영향을 국소화하기 위해 공간 마스크를 학습하는 공간 수축(SC) 모듈을 도입한다.
• 잠재 코드를 변형시켜 생성된 이미지의 변화를 측정함으로써 각 잠재 차원이 단순하고 인지적으로 구별 가능한 변형을 캡처하도록 유도하는 인지적 단순성 손실을 설계한다.
• 각 잠재 코드의 영향 범위를 제약하는 미분 가능 마스크 학습 메커니즘을 활용하여 분리된 요소의 해석 가능성 향상.
• 잠재 축을 따라 누적된 인지적 거리를 측정하여 모델을 비지도로 평가하는 TPL(Total Perceptual Loss) 점수를 제안하며, 더 단순하고 해석 가능한 변형을 보이는 모델을 선호한다.
• SC 모듈과 인지적 단순성 손실을 통합한 프레임워크를 구축하여 분리도를 향상시키면서도 높은 이미지 생성 품질을 유지한다.

실험 결과

연구 질문

• RQ1 지도 없이도 해석 가능성은 분리 표현을 위한 효과적인 대체 지표로 모델링될 수 있는가?
• RQ2 각 잠재 차원의 영향을 특정 이미지 영역으로 국한시키는 것(Spatial Constriction)이 학습된 표현의 해석 가능성과 분리도를 향상시키는가?
• RQ3 잠재 축을 따라 인지적으로 단순한 변형을 강제하면 더 나은 분리도와 더 의미 있는 인과 분해가 달성되는가?
• RQ4 잠재 축을 따라 누적된 인지적 거리는 높은 품질의 분리된 모델을 선택하는 데 신뢰할 수 있는 비지도 메트릭인가?

주요 결과

• 3DShapes 데이터셋에서 제안된 모델은 FactorVAE 점수 92.04 (±6.49)를 기록하며, InfoGAN-CR 및 VAE 기반 기준 모델을 모두 초월한다.
• DSprites에서 모델은 점수 83.54 (±6.91)를 기록했으며, TPL 모델 선택 방법을 통합할 경우 84.22 (±4.21)로 향상된다.
• 기존의 소프트맥스 기반 어텐션 맵이 종종 점 형태 또는 국소화되지 않은 히트맵을 생성하는 데 비해, 공간 수축 마스크는 더 해석 가능하고 정보량이 풍부하다.
• 잠재 공간 탐색 결과, 제안된 모델는 InfoGAN-CR과 같은 기준 모델이 빛의 세기와 미소 표정 등에 의해 엉키는 문제와 품질 저하를 겪는 것과 달리, 높은 생성 품질을 유지하면서도 뛰어난 분리도를 확보한다.
• FFHQ에서의 이미지 편집 실험 결과, 모델은 헤어 색상, 표정 등의 속성을 성공적으로 전이하면서도 정체성과 기타 속성을 유지함으로써 분리도 품질을 확인한다.
• TPL 점수는 비지도 방식으로 높은 성능을 내는 모델을 효과적으로 식별하며, 상위 10개 시드가 TPL 점수로 순위 매겨질 경우 DSprites와 3DShapes 양쪽에서 성능 향상이 이루어진다.