[論文レビュー] ImagineNet: Restyling Apps Using Neural Style Transfer

Michael Fischer, Richard R. Yang+1 more|arXiv (Cornell University)|Jan 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 4

ひとこと要約

ImagineNetは、スタイル転送の目的関数にクロスレイヤー非中心化自己共分散項を追加することで、GUIの可読性を保持する新しいニューラルスタイル転送モデルを導入した。これにより、芸術的テクスチャを適用しても高精細なリスタイルが可能となり、明確な物体境界と読みやすいテキストを維持できる。本手法は、ユーザーの好みの研究において従来手法を著しく上回った。

ABSTRACT

This paper presents ImagineNet, a tool that uses a novel neural style transfer model to enable end-users and app developers to restyle GUIs using an image of their choice. Former neural style transfer techniques are inadequate for this application because they produce GUIs that are illegible and hence nonfunctional. We propose a neural solution by adding a new loss term to the original formulation, which minimizes the squared error in the uncentered cross-covariance of features from different levels in a CNN between the style and output images. ImagineNet retains the details of GUIs, while transferring the colors and textures of the art. We presented GUIs restyled with ImagineNet as well as other style transfer techniques to 50 evaluators and all preferred those of ImagineNet. We show how ImagineNet can be used to restyle (1) the graphical assets of an app, (2) an app with user-supplied content, and (3) an app with dynamically generated GUIs.

研究の動機と目的

• エンドユーザーおよび開発者が任意のアートスタイルを用いてGUIをリスタイル可能にするとともに、可読性およびインターフェース機能を維持すること。
• 従来のニューラルスタイル転送手法の重大な制限、すなわちGUI要素の歪みとテキストの読みにくさを解消すること。
• テクスチャや色に加え、CNNの各レイヤー間での構造的整合性を組み込むことで、スタイルをより包括的にモデリングすること。
• ユーザーの研究および実世界のアプリリスタイルのシナリオを通じて、本手法の有効性を評価すること。
• 動的でユーザー生成のUIおよびサードパーティ製GUIに対しても、使いやすさを損なわずに芸術的スタイルを適用可能であることを示すこと。

提案手法

• 事前学習済みのVGG19ネットワーク内の異なるレイヤー間の特徴量の非中心化自己共分散に基づく新しい損失項を導入し、構造的スタイルをモデリングする。
• 標準のニューラルスタイル転送目的関数を修正し、スタイル画像の自己共分散と生成画像の自己共分散との二乗誤差を最小化する。
• 特徴階層全体にわたる構造的一致性を強調することで、コンテンツの詳細を保持し、物体境界やテキストの可読性を確保する。
• バッチサイズ1で最大10時間まで学習可能なマルチスケール最適化フレームワークを採用し、高品質な結果を達成する。
• 学習後はリアルタイム推論をサポートし、512×288の画像では3.02 ms、1920×1080の画像では104.02 msの変換時間となる。
• 結果が不満足な場合はユーザーが早期に学習を中止可能であり、1分以内に意味のある出力が得られる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルスタイル転送モデルは、芸術的スタイルを転送する際、GUIの可読性と物体境界を保持できるか？
• RQ2 異なるレイヤー間の特徴相関を組み込むことで、リスタイルされたGUIの整合性と視覚的品質が向上するか？
• RQ3 ユーザーは、ImagineNetが生成したリスタイルGUIの視覚的品質と使いやすさを、従来手法と比較してどのように評価するか？
• RQ4 どの種類の芸術的スタイルがGUIリスタイルに最も適しており、その理由は何か？
• RQ5 本手法は、静的アセット、ユーザー生成コンテンツ、動的に生成されるUIを含む、さまざまなアプリタイプに一般化可能か？

主な発見

• 50名の評価者を対象としたユーザー研究において、すべての参加者がImagineNetでリスタイルされたGUIを、従来手法で生成されたものよりも好んだ。
• 96種類の異なるスタイルの平均ユーザー評価は1.6から4.5の間であり、96件中82件が3以上と高く評価され、スタイル品質に関する強い合意が得られた。
• 抽象的表現主義、ルネサンス期のハイ・ルネサンス、モダニズモ、ポップアートのスタイルは、明確なエッジと鮮やかな色使いのおかげでうまく機能した。
• アクションペインティング、レトリズム、キネティックアート、プルーリズムのスタイルは、構造的明瞭性と明確な境界の欠如のため、劣悪な結果となった。
• 1ピクセルあたり0.026 μsの変換速度を達成し、512×288のGUIは平均3.02 ms、1920×1080のGUIは104.02 msで処理された。
• 構造的損失項は不可欠であった：これなしでは、コンテンツ損失を強化してもスタイル転送の結果は整合性がなく、テキストは読みにくくなった。