[논문 리뷰] Metrics for Exposing the Biases of Content-Style Disentanglement

Xiao Liu, Spyridon Thermos외 4명|arXiv (Cornell University)|2020. 08. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 50인용 수 8

한 줄 요약

이 논문은 공간적 콘텐츠와 벡터 스타일 표현에서의 분리성(disentanglement)을 측정하기 위해 작업에 종속되지 않는 지표를 제안하며, 이러한 구성 요소들이 얼마나 상관관계가 없고 정보량이 많은지 평가한다. 저자는 이 지표들을 세 가지 유명한 모델의 변형된 버전에 적용하여, 분리성, 작업 성능, 해석 가능성 사이에 상충 관계가 있음을 밝혀내며 최적의 모델 설계를 위한 명확한 '최적 영역(sweet spot)'을 확인한다.

ABSTRACT

A recent spate of state-of-the-art semi- and unsupervised solutions for challenging computer vision tasks encode image into a spatial tensor and image appearance or into a vector. Most of these solutions use the term disentangled for their representations and employ different biases such as model design, learning objectives, and data, to achieve good performance in spatially equivariant tasks (e.g. image-to-image translation). While considerable effort has been made to measure disentanglement in vector representations, we have lacked metrics for spatial content and vector style representations. In this paper, we propose such metrics to characterize the degree of disentanglement in terms of how (un)correlated and informative the content and style representations are, and we further examine its relation to task performance. In particular, we first identify key design choices and learning constraints on three popular models that employ content-style disentanglement and derive ablated versions. Secondly, we use our metrics to ascertain the role of each bias. Our experiments reveal a sweet spot between disentanglement, task performance and latent space interpretability. Our metrics are not task-dependent; thus, they can help guide either the design of new future models or the selection of viable models such that this ideal sweet spot is achieved in any task where content-style representations are useful.

연구 동기 및 목표

• 기존 방법이 벡터 기반 분리성에만 초점이 맞춰져 있는 데 비해, 공간적 콘텐츠와 벡터 스타일 표현에서의 분리성 평가를 위한 지표 부족 문제를 해결한다.
• 세 가지 유명한 콘텐츠-스타일 분리성 모델의 핵심 설계 선택 사항과 학습 제약 조건을 특정하고 분석하여 그것이 분리성에 미치는 영향을 이해한다.
• 콘텐츠와 스타일 요소 간의 상관관계와 정보량을 정량화하는 지표를 개발하여, 후속 작업에 종속되지 않는 방식으로 분리성 품질을 평가한다.
• 분리성, 작업 성능, 해석 가능성 사이의 관계를 분석하여 표현 학습에서 최적의 균형, 즉 '최적 영역(sweet spot)'을 규명한다.
• 모델 설계자와 실무자들이 높은 성능을 유지하면서도 해석 가능하고 분리된 표현을 갖춘 모델의 개발 및 선택을 이끌 수 있도록 지원한다.

제안 방법

• 공간적 콘텐츠와 벡터 스타일 표현에서의 분리성을 평가하기 위해 상관관계 기반 및 정보량 기반의 두 가지 지표를 제안한다.
• 다양한 편향(모델 아키텍처, 손실 함수, 데이터 증강)을 가진 세 가지 최첨단 모델의 변형된 버전에 이 지표들을 적용한다.
• 각 설계 선택 사항이 분리성에 기여하는 정도를 후속 작업 성능에 종속되지 않고 고립하여 측정한다.
• 잠재 요소 간 상관관계와 콘텐츠 및 스타일 요소 간 상호정보량의 통계적 분석을 통해 분리성 품질을 평가한다.
• 다양한 데이터셋에서 모델을 훈련하고 후속 작업 레이블에 의존하지 않도록 하여 지표가 작업에 종속되지 않도록 보장한다.
• 다양한 모델 변형 및 아블레이션 설정 간 결과를 비교하여 지표의 일관성을 검증한다.

실험 결과

연구 질문

• RQ1 기존의 지표가 부족한 상황에서 공간적 콘텐츠와 벡터 스타일 표현에서의 분리성을 신뢰할 수 있게 측정하는 방법은 무엇인가?
• RQ2 특정 모델 설계 선택 사항과 학습 제약 조건이 콘텐츠 및 스타일 요소의 분리성 정도에 미치는 영향은 무엇인가?
• RQ3 콘텐츠-스타일 표현에서 분리성, 작업 성능, 해석 가능성 사이에 상충 관계가 존재하는가? 만약 그렇다면 최적의 균형은 어디에 위치하는가?
• RQ4 제안된 지표가 후속 작업 성능과 모델의 해석 가능성과 얼마나 관련이 있는가?
• RQ5 이 지표들이 분리성, 성능, 해석 가능성 사이의 유리한 균형을 달성하는 데 모델 설계 또는 선택을 이끌 수 있는가?

주요 결과

• 제안된 지표들은 공간적 콘텐츠와 벡터 스타일 표현 양쪽 모두에서 분리성을 성공적으로 정량화하며, 작업에 종속되지 않는 평가 프레임워크를 제공한다.
• 모델 아키텍처, 손실 함수, 데이터 증강과 같은 다양한 설계 선택 사항이 분리성 품질에 측정 가능하고 명확히 다른 영향을 미친다.
• 분리성, 작업 성능, 해석 가능성 사이에 명확한 상충 관계가 존재하며, 이 세 가지 요소가 균형을 이루는 명확한 '최적 영역(sweet spot)'이 존재한다.
• 높은 분리성을 가진 모델가 반드시 최고의 작업 성능을 내는 것은 아니며, 이는 분리성 자체가 최적 결과를 보장하지 않음을 시사한다.
• 지표들은 특정 학습 목표와 아키텍처 선택 사항이 콘텐츠와 스타일 요소 간의 상관관계를 크게 감소시켜 분리성 향상에 기여한다는 것을 드러낸다.
• 지표들은 성능을 희생시키지 않으면서도 높은 해석 가능성을 유지하는 모델 변형을 효과적으로 식별할 수 있어, 모델 선택 및 설계에 유용하다.