[論文レビュー] A Hypothesis for the Aesthetic Appreciation in Neural Networks

Xu Cheng, Xin Wang+3 more|arXiv (Cornell University)|Jul 31, 2021

Aesthetic Perception and Analysis参考文献 68被引用数 4

ひとこと要約

本論文は、美的な画像が顕著な概念を強化し、不要な概念を抑制することで、ニューラルネットワークの性能を向上させると仮説を立てている。事前学習済みのResNet-18を用いた多変量相互作用分析により、高影響力の特徴相互作用を強調するように画像を修正した結果、視覚的により美的な出力が得られ、前景/背景のシャープニング/ぼかし効果の定性的および確率的分析によって検証された。

ABSTRACT

This paper proposes a hypothesis for the aesthetic appreciation that aesthetic images make a neural network strengthen salient concepts and discard inessential concepts. In order to verify this hypothesis, we use multi-variate interactions to represent salient concepts and inessential concepts contained in images. Furthermore, we design a set of operations to revise images towards more beautiful ones. In experiments, we find that the revised images are more aesthetic than the original ones to some extent.

研究の動機と目的

• 美的な画像における評価が、ニューラルネットワークによる顕著な概念の強化と不要な概念の抑制に起因するかどうかを調査すること。
• 高影響力の特徴相互作用を強化し、低影響力のものを減少させる画像修正手法を開発すること。
• 制御された画像修正を用いて、知覚的な美的改善を測定することで、仮説を検証すること。
• 深層ニューラルネットワークの活性化における多変量相互作用を関数としてモデル化し、美的品質を定式化すること。
• DNNベースの画像編集を用いて、局所的（ローカル）と大域的（グローバル）な文脈の美的認識における役割を調査すること。

提案手法

• ゲーム理論からの多変量相互作用測定を用い、ピクセル群がDNNの分類信頼性に与える寄与度を定量化する。
• 顕著な概念は |I(S)| が大きいピクセル部分集合 S として特定され、不要な概念は |I(S)| の値が無視できるほど小さいものとされる。
• 相互作用勾配に基づいて、色相、彩度、明度、シャープネスを調整する滑らかで敵対的でない操作を適用して画像を修正する。
• 損失関数はImageNetで事前学習済みのResNet-18を用いて計算され、修正を顕著性の向上と不要性の低減に導く。
• 前景と背景領域はオブジェクトのバウンディングボックスを用いて分離され、ぼかし/シャープネススコアの確率分布が計算される。
• 相互作用計算における受容野サイズ r を変化させることで、小規模（局所的）および大規模（大域的）な相互作用を区別する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの活性化における高影響力の多変量相互作用を強化することは、より美的に感じられる画像をもたらすか？
• RQ2 特徴相互作用の顕著性に基づく画像修正は、敵対的アーティファクトを生成せずに知覚的な美的品質を向上させられるか？
• RQ3 小規模（局所的）および大規模（大域的）な相互作用は、美的認識にどのように異なる寄与をしているか？
• RQ4 ピクセルレベルでのぼかし/シャープネスの変化が、改善された美的判断と相関しているかを測定可能か？
• RQ5 不要な概念（|I(S)| が小さいもの）を抑制し、顕著なものを強化すること（|I(S)| が大きいもの）は、人間の美的好みとどの程度一致するか？

主な発見

• 小規模な概念（r_small ∈ {0.1n, 0.2n}）に対するペナルティ処理により、前景の物体がシャープになり、背景がぼやけるようになり、一般的な写真撮影の美的原則と一致した。
• 大規模な概念（r_large ∈ {0.8n, 0.9n}）に対するペナルティ処理により、逆に背景がシャープになり、前景がぼやけるようになり、局所的および大域的文脈の異なる役割が示された。
• 負の Δ_pixel（ぼかし）を示すピクセルに対して、P(F|Δ_pixel) が 0.5 を上回った。これは、小規模な相互作用に対するペナルティ処理の際、前景でぼかしがより起こりやすかったことを示している。
• 修正後の画像は元の画像よりもより美的に感じられた。これは、神経表現における顕著性の向上と不要性の抑制が、美的品質と相関しているという仮説を支持する。
• 本手法は、滑らかで敵対的でない画像変換を用いたため、分布外のアーティファクトを回避できた。
• ネットワークの有効性を多変量相互作用項 I(S) に分解した結果、分類信頼性に顕著な影響を与えるピクセル群のサブセットは非常に疎であることが明らかになった。