[논문 리뷰] Measuring the Biases and Effectiveness of Content-Style Disentanglement

Xiao Liu, Spyridon Thermos외 4명|arXiv (Cornell University)|2020. 08. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 65인용 수 5

한 줄 요약

이 논문은 이미지 생성 모델에서 콘텐츠-스타일 분리도를 측정하기 위한 두 가지 새로운, 작업에 종속되지 않는 지표를 제안하고 평가하며, 중간 정도의 분리도에서 성능과 해석 가능성의 '최적 영역'이 존재함을 밝혀낸다. 고도로 분리된 스타일 표현을 강제로 유도할 경우 모델의 유용성과 의미적 콘텐츠 품질이 떨어질 수 있으며, 이는 더 많은 분리도가 항상 더 나은 결과를 이끌어낸다는 가정을 도전한다.

ABSTRACT

A recent spate of state-of-the-art semi- and un-supervised solutions disentangle and encode image "content" into a spatial tensor and image appearance or "style" into a vector, to achieve good performance in spatially equivariant tasks (e.g. image-to-image translation). To achieve this, they employ different model design, learning objective, and data biases. While considerable effort has been made to measure disentanglement in vector representations, and assess its impact on task performance, such analysis for (spatial) content - style disentanglement is lacking. In this paper, we conduct an empirical study to investigate the role of different biases in content-style disentanglement settings and unveil the relationship between the degree of disentanglement and task performance. In particular, we consider the setting where we: (i) identify key design choices and learning constraints for three popular content-style disentanglement models; (ii) relax or remove such constraints in an ablation fashion; and (iii) use two metrics to measure the degree of disentanglement and assess its effect on each task performance. Our experiments reveal that there is a "sweet spot" between disentanglement, task performance and - surprisingly - content interpretability, suggesting that blindly forcing for higher disentanglement can hurt model performance and content factors semanticness. Our findings, as well as the used task-independent metrics, can be used to guide the design and selection of new models for tasks where content-style representations are useful.

연구 동기 및 목표

• 최신 콘텐츠-스타일 분리도 모델의 핵심 설계, 학습, 데이터 편향을 규명하고 분석하기 위해.
• 공간적 콘텐츠 및 벡터 스타일 표현에서의 분리도를 측정하기 위한 작업에 종속되지 않는 지표를 개발하기 위해.
• 분리도 수준, 모델 성능(유용성), 콘텐츠의 해석 가능성 간의 관계를 조사하기 위해.
• 분리도와 성능 간의 비단조화적 상충 관계를 폭 드러내어 향후 모델 설계를 안내하기 위해.

제안 방법

• 통계적 종속성 측정을 위한 거리 상관계수와 각 잠재 변수의 정보량을 평가하기 위한 정보이론적 인코딩을 포함한 두 가지 상호보완적 지표를 제안한다.
• MUNIT, SDNet, PANet의 세 가지 최신 모델에서 핵심 제약 조건(예: 레이블 정규화, 이진화, 동치성 손실)을 완화하거나 제거함으로써 아블레이션 연구를 수행한다.
• 이미지 간 번역, 세분화, 인간 자세 추정을 평가 과제로 삼아 다양한 모델의 성능을 평가한다.
• 모델 및 과제 간에 분리도 지표와 성능 간의 관계를 분석하기 위해 피어슨 상관계수 분석을 활용한다.
• 콘텐츠 표현과 스타일 이동을 시각화하여 해석 가능성과 현실성에 대한 정성적 평가를 수행한다.
• FFHQ, Cityscapes, DeepFashion의 세 데이터셋에서 일관된 훈련 및 평가 프로토콜을 사용해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 다양한 설계, 학습, 데이터 편향이 최신 모델의 콘텐츠-스타일 분리도에 어떻게 영향을 미치는가?
• RQ2 다양한 비전 과제에서 분리도 수준과 모델 성능 간의 진정한 관계는 무엇인가?
• RQ3 더 높은 분리도가 항상 더 나은 모델 유용성과 더 의미 있는 의미적 콘텐츠 표현을 이끌어내는가?
• RQ4 성능을 최적화하면서 해석 가능성 손실 없이 '최적 영역'을 특정할 수 있는가?

주요 결과

• 핵심 스타일 관련 인도적 편향을 유지할 경우, 낮은 분리도 수준에서 과제 성능이 향상될 수 있으며, 이는 분리도와 유용성 간의 비단조화적 관계를 시사한다.
• 모델 성능은 잠재 변수의 정보량과 강하게 상관되며, 이는 분리도 자체보다 정보의 양이 성능 예측에 더 유의미한 요소임을 시사한다.
• 분리도를 극단적으로 강제로 높일 경우 콘텐츠 채널 간 개별 객체의 존재가 뚜렷하지 않아져, 의미적 의미성과의 상충 관계가 드러난다.
• 제안된 지표들은 상호 상관성이 없으며, 이는 분리도 평가에서 상호보완적 성격을 검증함을 의미한다.
• MUNIT 모델에서는 FID 및 LPIPS 지표가 분리도 지표와 강한 상관관계를 보이며, 주 과제에서 직접적인 콘텐츠-스타일 사용의 역할을 강조한다.
• 정성적 분석 결과, 정규화(예: 레이블 정규화 또는 이진화)를 제거할 경우 분리도가 증가하더라도 이미지 품질이 떨어지고 스타일 전환이 더 부드럽지 않게 되는 경향이 있음을 확인했다.