[論文レビュー] Unsupervised Learning of Artistic Styles with Archetypal Style Analysis

Daan Wynen, Cordelia Schmid+1 more|arXiv (Cornell University)|May 28, 2018

Aesthetic Perception and Analysis被引用数 13

ひとこと要約

本稿では、芸術的スタイルの発見、要約、操作を、芸術作品のデータセットからの深層特徴に対してアーキタイプ解析を用いて教師なしで行う手法を提案する。特徴量のスパースな凸結合としてのアーキタイプ的スタイル—実際の絵画として解釈可能なもの—を学習することで、内容の詳細を保ちながら、最適化手法の改良とハイパーパrameter制御の向上により、スタイル変換、強化、補間を可能にする。

ABSTRACT

In this paper, we introduce an unsupervised learning approach to automatically discover, summarize, and manipulate artistic styles from large collections of paintings. Our method is based on archetypal analysis, which is an unsupervised learning technique akin to sparse coding with a geometric interpretation. When applied to deep image representations from a collection of artworks, it learns a dictionary of archetypal styles, which can be easily visualized. After training the model, the style of a new image, which is characterized by local statistics of deep visual features, is approximated by a sparse convex combination of archetypes. This enables us to interpret which archetypal styles are present in the input image, and in which proportion. Finally, our approach allows us to manipulate the coefficients of the latent archetypal decomposition, and achieve various special effects such as style enhancement, transfer, and interpolation between multiple archetypes.

研究の動機と目的

• 人為的ラベルなしで、大規模な絵画コレクションから芸術的スタイルを自動的に発見・要約すること。
• アーキタイプ解析を用いて、幾何学的に意味のある芸術的スタイルの解釈可能な表現を提供すること。
• アーキタイプ分解の係数を変更することで、強化、変換、補間など、柔軟なスタイル操作を可能にすること。
• Liら[11]のユニバーサルスタイル変換手法を拡張し、学習可能な低次元のアーキタイプ的スタイル潜在空間を導入すること。
• 発見されたスタイルを外部メタデータ（例：芸術運動、時代）と結びつけることで、視覚的外観を超えた解釈可能性と応用可能性を高めること。

提案手法

• 事前学習済みのVGGネットワークからの活性化（特徴量）を用いて、絵画データセットから抽出した深層畳み込み特徴量にアーキタイプ解析を適用する。
• 実際の画像スタイルの凸結合として、データセット内に存在するスタイルの辞書を学習し、視覚化と解釈を可能にする。
• 深層特徴量の統計量に基づく最適化により、任意の新規画像のスタイルを、これらのアーキタイプのスパースな凸結合として表現する。
• アーキタイプ分解の係数を変更することでスタイル操作を実現：強化（係数の増加）、変換（1つのアーキタイプの選択）、補間（複数のアーキタイプの組み合わせ）。
• スタイル変換中の内容の詳細保持を改善するため、パラメータγとδを用いた修正された最適化更新ルールを導入し、γ = δを視覚的に効果的なヒューリスティックとする。
• 学習済みのデコーダーを用いてVGG特徴量を逆変換し、特徴マップの反復的ホワイトニングと再色調処理により、スタイル化された画像の再構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 アーキタイプ解析は、大規模でキュレートされていない絵画コレクションから、解釈可能な芸術的スタイルを効果的に発見・表現できるか？
• RQ2 クラスタリングや標準的なスタイル変換と比較して、アーキタイプ分解がスタイル操作の解釈可能性と柔軟性をどのように向上させるか？
• RQ3 γとδを用いた提案された最適化更新ルールは、先行手法と比較して、スタイル化された画像における内容の詳細保持をどの程度改善するか？
• RQ4 アーキタイプ的スタイル操作は、学習データに直接存在しない新しい意味のある芸術的効果をどの程度生成できるか？
• RQ5 アーキタイプ的スタイルを外部メタデータ（例：芸術運動、時代）と結びつけることで、視覚的外観を超えた解釈可能性をどの程度高められるか？

主な発見

• 本手法は、意味のある芸術的特徴に対応する解釈可能なアーキタイプ的スタイルを効果的に学習し、実際の絵画として視覚化可能である。
• クラスタリングよりも豊かな解釈が可能である。各画像のスタイルは複数のアーキタイプの凸結合として表現され、混合されたスタイル的影響が明らかになる。
• γとδを用いた修正された最適化更新ルールにより、Liら[11]のベースライン手法と比較して、スタイル化された画像における内容の詳細保持が顕著に向上した。
• ヒューリスティックγ = δにより自由パラメータ数が1つに削減され、制御が簡素化されながらも高い視覚的品質を維持した。
• 係数の強化によるスタイル強化は、スタイル化出力に顕著かつ制御可能な変化をもたらし、中央パネル（γ = δ = 0.5）は元のコンテンツに近く類似している。
• 自由に選択したアーキタイプ間の補間により、データセットに直接存在しない新しい芸術的効果が生成され、本手法の生成的潜在能力が示された。