[논문 리뷰] How to Not Measure Disentanglement

Anna Sepliarskaia, Julia Kiseleva외 1명|arXiv (Cornell University)|2019. 10. 12.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 4

한 줄 요약

이 논문은 기존의 분리성 측정 지표에 심각한 결함이 있음을 밝혀내며, 진정으로 분리된 표현에는 일관되게 높은 점수를, 뒤섞인 표현에는 낮은 점수를 부여하지 못함을 보여준다. 이에 따라 논문은 이론적으로 두 가지 바람직한 성질을 만족하고 이전 지표들의 강점을 통합하는 새로운 지표인 3CharM을 제안한다. 이는 분리성 특성에 기반한 체계화된 프레임워크를 바탕으로 한다.

ABSTRACT

To evaluate disentangled representations several metrics have been proposed. However, theoretical guarantees for conventional metrics of disentanglement are missing. Moreover, conventional metrics do not have a consistent correlation with the outcomes of qualitative studies. In this paper we analyze metrics of disentanglement and their properties. We conclude that existing metrics of disentanglement were created to reflect different characteristics of disentanglement and do not satisfy two basic desirable properties: (1) assign a high score to representations that are disentangled according to the definition; and (2) assign a low score to representations that are entangled according to the definition. In addition, we propose a new metric of disentanglement and prove that it satisfies both of the properties.

연구 동기 및 목표

• 기존의 분리성 측정 지표가 분리성의 정성적 평가와 상관관계를 가지지 못하는 이유를 분석하는 것.
• 분리된 표현을 정의하는 데 핵심이 되는 두 가지 기본 특성—(1) 각 생성 인자에 대해 하나의 잠재 인자, (2) 잠재 인자와 생성 인자 간의 가역성 맵핑—을 규명하고 체계화하는 것.
• 기존 지표들인 BetaVAE, FactorVAE, DCI, SAP, MIG가 바람직한 성질을 일관되게 만족하지 못함을 보여주는 것—즉, 분리된 표현에는 높은 점수, 뒤섞인 표현에는 낮은 점수를 매겨야 하는데 이를 충족하지 못함.
• 이론적으로 두 가지 바람직한 성질을 만족하고 다양한 특성에 걸쳐 분리성 평가를 통합하는 새로운 지표인 3CharM을 제안하는 것.

제안 방법

• 저자는 분리성을 정의하는 데 핵심이 되는 두 가지 핵심 특성—(1) 각 생성 인자는 단일 독립 잠재 인자에 의해 표현되어야 하며, (2) 생성 인자와 잠재 인자 간의 맵핑이 가역적이어야 한다—를 정의한다.
• 기존 지표들(BetaVAE, FactorVAE, DCI, SAP, MIG)을 분석하여, 정의된 특성을 만족하는 표현에는 높은 점수를, 만족하지 못하는 표현에는 낮은 점수를 매기는지 평가한다.
• 논문은 상호정보량과 가역성 제약 조건을 사용하여 두 분리성 특성을 통합한 단일 이론적 기반의 측정 지표인 3CharM을 도입한다.
• 3CharM은 각 잠재 인자가 정확히 하나의 생성 인자만 포괄하는 정도를 측정하면서, 주어진 제약 조건 하에서 표현이 가역성을 유지하도록 구성된다.
• 이론적 증명을 통해 3CharM이 두 가지 바람직한 성질을 이론적으로 만족함을 보여준다—즉, 분리된 표현에는 높은 점수, 뒤섞인 표현에는 낮은 점수를 매긴다.

실험 결과

연구 질문

• RQ1 기존의 분리성 측정 지표가 왜 분리성의 정성적 평가와 상관관계를 가지지 못하는가?
• RQ2 신뢰할 수 있는 분리성 측정 지표가 충족해야 할 기본적인 성질은 무엇인가?
• RQ3 BetaVAE, FactorVAE, DCI, SAP, MIG와 같은 기존 지표들이 분리된 표현에는 높은 점수, 뒤섞인 표현에는 낮은 점수를 매겨야 하는 바람직한 성질을 일관되게 만족하는가?
• RQ4 두 핵심 분리성 특성을 반영하고 이론적으로 타당성이 있는 통합 지표를 설계할 수 있는가?

주요 결과

• BetaVAE, FactorVAE, DCI, SAP, MIG와 같은 대부분의 기존 분리성 측정 지표들은 정의에 따라 진정으로 분리된 표현에 대해 높은 점수를 매기지 못한다.
• 이러한 지표들은 또한 뒤섞인 표현에 대해 낮은 점수를 매기지 못하여, 분리성의 이론적 정의와의 일관성이 결여되어 있음을 보여준다.
• 연구 결과, 지표들이 분리성의 서로 다른 특성을 반영하도록 설계되어 있어, 다양한 데이터셋과 모델 간에 순위가 일관되지 않음을 드러냈다.
• 제안된 3CharM 지표는 두 가지 바람직한 성질을 이론적으로 만족함이 입증되었다—즉, 분리된 표현에는 높은 점수, 뒤섞인 표현에는 낮은 점수를 매긴다.
• 3CharM은 생성 인자와 잠재 인자 간의 일대일 대응과 가역성이라는 두 핵심 특성을 통합하여 분리성 평가를 통합한다.