[論文レビュー] Measuring the Biases and Effectiveness of Content-Style Disentanglement

Xiao Liu, Spyridon Thermos+4 more|arXiv (Cornell University)|Aug 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 65被引用数 5

ひとこと要約

本稿では、画像生成モデルにおけるコンテンツ・スタイル分離度を測る2つの新規でタスクに依存しない指標を提案・評価し、中程度の分離度が性能と解釈可能性を最大化する「最適領域」を特定した。高レベルの分離度を強制すると、モデルの有用性や意味的コンテンツ品質が低下することが判明し、より分離度が高いほど常に良いという仮定に疑問を呈する。

ABSTRACT

A recent spate of state-of-the-art semi- and un-supervised solutions disentangle and encode image "content" into a spatial tensor and image appearance or "style" into a vector, to achieve good performance in spatially equivariant tasks (e.g. image-to-image translation). To achieve this, they employ different model design, learning objective, and data biases. While considerable effort has been made to measure disentanglement in vector representations, and assess its impact on task performance, such analysis for (spatial) content - style disentanglement is lacking. In this paper, we conduct an empirical study to investigate the role of different biases in content-style disentanglement settings and unveil the relationship between the degree of disentanglement and task performance. In particular, we consider the setting where we: (i) identify key design choices and learning constraints for three popular content-style disentanglement models; (ii) relax or remove such constraints in an ablation fashion; and (iii) use two metrics to measure the degree of disentanglement and assess its effect on each task performance. Our experiments reveal that there is a "sweet spot" between disentanglement, task performance and - surprisingly - content interpretability, suggesting that blindly forcing for higher disentanglement can hurt model performance and content factors semanticness. Our findings, as well as the used task-independent metrics, can be used to guide the design and selection of new models for tasks where content-style representations are useful.

研究の動機と目的

• 最先端のコンテンツ・スタイル分離度モデルにおける主な設計・学習・データバイアスを特定・分析すること。
• 空間的コンテンツ表現およびベクトル的スタイル表現における分離度を測るタスクに依存しない指標を開発すること。
• 分離度の程度、モデルの性能（有用性）、コンテンツの解釈可能性との関係を調査すること。
• 分離度と性能の非単調なトレードオフを明らかにすることで、将来のモデル設計を支援すること。

提案手法

• 相補的な2つの指標を提案：コンテンツとスタイルの間の統計的依存性を測る距離相関、および各潜在変数の情報量を評価する情報理論的符号化。
• 3つの最先端モデル（MUNIT、SDNet、PANet）において、重要な制約（例：ラベル正則化、バイナリゼーション、同変性損失）を緩和または削除することでアブレーションスタディを実施。
• 画像対画像変換、セマンティックセグメンテーション、人体ポーズ推定を評価タスクとして用い、モデル間での性能を評価。
• 複数のモデルおよびタスクにおいて、分離度指標と性能の関係を調査するためのピアソン相関分析を実施。
• コンテンツ表現およびスタイル遷移の可視化により、解釈可能性および現実性を定性的に評価。
• FFHQ、Cityscapes、DeepFashionの3つのデータセットで一貫した訓練および評価プロトコルを用いて、研究結果の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 異なる設計・学習・データバイアスは、最先端モデルにおけるコンテンツ・スタイル分離度にどのように影響するか？
• RQ2 複数のビジョンタスクにわたる分離度の程度とモデル性能の真の関係は何か？
• RQ3 より高い分離度は、常にモデルの有用性と意味的に意味のあるコンテンツ表現をもたらすのか？
• RQ4 性能を最適化しつつ解釈可能性を損なわない「最適領域」を特定できるか？

主な発見

• 重要なスタイル関連のインダクティブバイアスが保持されている場合、低い分離度レベルがタスク性能を向上させることがあり、分離度と有用性の間に非単調な関係があることを示唆する。
• モデル性能は潜在変数の情報量と強く相関しており、分離度そのものよりも情報量の多さが性能予測に寄与していることを示唆する。
• 分離度を極端に高めると、コンテンツチャネルにおける明確な物体の存在が低下し、解釈可能性が劣化する。これは、意味的意味の明確さとのトレードオフを示している。
• 提案された2つの指標は互いに相関がなく、分離度評価における相補的性を裏付けている。
• MUNITモデルでは、FIDおよびLPIPS指標が分離度指標と強く相関しており、主タスクにおける直接的なコンテンツ・スタイル利用の役割を強調している。
• 定性的な分析により、正則化（例：ラベル正則化やバイナリゼーション）を削除すると、分離度が向上しても画像品質が低下し、スタイル遷移が滑らかでなくなることが確認された。