[論文レビュー] A Loss Function for Generative Neural Networks Based on Watson's Perceptual Model

Steffen Czolbe, Oswin Krause+2 more|arXiv (Cornell University)|Jun 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 14

ひとこと要約

この論文は、ワトソンの視覚的知覚モデルに基づき、フーリエ変換、色サポート、ランダムタイリング、微分可能演算を組み合わせた、微分可能で知覚的に動機付けられた損失関数を提案する。人間の類似性判断データで訓練されたこの損失関数は、VAEが生成する画像のぼやけやアーティファクトを軽減し、L2、SSIM、およびディープメトリック損失よりも品質と効率性において優れている。

ABSTRACT

To train Variational Autoencoders (VAEs) to generate realistic imagery requires a loss function that reflects human perception of image similarity. We propose such a loss function based on Watson's perceptual model, which computes a weighted distance in frequency space and accounts for luminance and contrast masking. We extend the model to color images, increase its robustness to translation by using the Fourier Transform, remove artifacts due to splitting the image into blocks, and make it differentiable. In experiments, VAEs trained with the new loss function generated realistic, high-quality image samples. Compared to using the Euclidean distance and the Structural Similarity Index, the images were less blurry; compared to deep neural network based losses, the new approach required less computational resources and generated images with less artifacts.

研究の動機と目的

• 標準的なピxls単位の損失（L2 や SSIM）を用いて訓練された場合に、VAEが生成する画像がぼやけるという、知覚的品質の低さに対処すること。
• 分類タスクで事前学習されたディープニューラルネットワークベースの知覚損失の限界を克服すること。特に、視覚的アーティファクトに対して不変である可能性があること。
• 人間の視覚知覚に基づき、ワトソンのモデルを基盤とする、軽量で微分可能かつ頑健な知覚損失関数を開発すること。
• 計算コストと生成画像のアーティファクトを最小限に抑えながら、さまざまな画像ドメイン（例：数字、顔）への一般化を向上させること。

提案手法

• ワトソンのモデルに内蔵された元のDCTを離散フーリエ変換（DFT）に置き換え、振幅と位相の情報を分離することで、微小な平行移動に対するロバスト性を向上させること。
• モノクロのワトソンモデルを拡張し、各色チャネルを個別に処理し、知覚的重みを組み合わせることでカラー画像を処理可能にする。
• ブロック単位のDFT計算における固定グリッドをランダムグリッドに置き換えることで、グリッド由来のアーティファクトを排除すること。
• 元のモデルに含まれる非微分可能なmax演算子を微分可能な近似に置き換えることで、VAEのエンド・ツー・エンド訓練を可能にする。
• 人間の類似性判断データを用いて知覚損失関数を最適化し、自由パラメータを人間の知覚に一致するように学習させること。
• 得られた微分可能な知覚損失関数をVAEの訓練に統合し、標準的なL2またはSSIM損失の代わりに使用すること。

実験結果

リサーチクエスチョン

• RQ1 ワトソンのモデルのような知覚的に根拠のある明示的モデルを用いることで、L2 や SSIM 損失と比較して、VAEにおける画像生成品質が向上するか？
• RQ2 DCTをDFTに置き換えることで、知覚損失関数における微小な画像シフトに対するロバスト性が向上するか？
• RQ3 ニューラルネットワークを用いない、微分可能な知覚損失が、画像品質と計算効率の面でディープニューラルネットワークベースの損失を上回るか？
• RQ4 ブロック処理におけるランダムタイリングの使用が、損失計算における目立つグリッドアーティファクトを排除するか？
• RQ5 変更を加えたワトソンベースの損失は、数字や有名人の顔など多様な画像ドメインにどれほど一般化できるか？

主な発見

• 人間による評価と視覚的検査により確認されたように、提案された知覚損失で訓練されたVAEは、L2 や SSIM 損失で訓練されたものと比較して、著しくぼやけが少ない画像を生成した。
• 最新のディープメトリックベースの損失（例：LPIPS）と比較して、計算リソースとメモリ使用量が大幅に少ないにもかかわらず、視覚的アーティファクトが少ない結果を得た。
• ドメイン固有のファインチューニングを必要とせずに、手書き数字や有名人の顔など、さまざまな画像ドメインに良好に一般化した。
• max演算子の微分可能版を用いることで得られた損失の微分可能版は、性能の劣化を伴わず、安定したエンド・ツー・エンドのVAE訓練を可能にした。
• DFTベースのアプローチにより、微小な平行移動に対するロバスト性が向上し、元のDCTベースのモデルとは異なり、わずかなシフトに対しても一貫した知覚的類似度スコアを示した。
• 人間の類似性データで訓練された知覚損失は、L2 や SSIM と比較して人間の判断により適合しており、画像生成品質においてディープメトリックベースラインを上回った。