[論文レビュー] The Unreasonable Effectiveness of Deep Features as a Perceptual Metric

Richard Zhang, Phillip Isola+3 more|arXiv (Cornell University)|Jan 11, 2018

Advanced Image Processing Techniques参考文献 54被引用数 809

ひとこと要約

多様なアーキテクチャと監督レベルからの深層特徴は、従来の指標よりも人間の知覚的類似性をはるかに正しく予測し、歪みや実際のアルゴリズムに対する人間の判断との整合性を改善するようにキャリブレーションできる。

ABSTRACT

While it is nearly effortless for humans to quickly assess the perceptual similarity between two images, the underlying processes are thought to be quite complex. Despite this, the most widely used perceptual metrics today, such as PSNR and SSIM, are simple, shallow functions, and fail to account for many nuances of human perception. Recently, the deep learning community has found that features of the VGG network trained on ImageNet classification has been remarkably useful as a training loss for image synthesis. But how perceptual are these so-called "perceptual losses"? What elements are critical for their success? To answer these questions, we introduce a new dataset of human perceptual similarity judgments. We systematically evaluate deep features across different architectures and tasks and compare them with classic metrics. We find that deep features outperform all previous metrics by large margins on our dataset. More surprisingly, this result is not restricted to ImageNet-trained VGG features, but holds across different deep architectures and levels of supervision (supervised, self-supervised, or even unsupervised). Our results suggest that perceptual similarity is an emergent property shared across deep visual representations.

研究の動機と目的

• 深層特徴表現が人間の知覚的類似性判断とどの程度一致するかを動機づけ、定量化する。
• 歪みと実際のアルゴリズムに跨る指標を評価するために、大規模で多様な知覚類似データセット（BAPPS）を作成する。
• 教師あり・自己监督・無監督モデルからの深層特徴を評価し、これらの特徴のキャリブレーションを検証する。
• アーキテクチャまたは学習信号（ImageNetだけでなく）ら知覚整合性を駆動する要因を評価する。
• 事前学習済み特徴の線形キャリブレーションが知覚距離を改善するのに十分かを検討する。

提案手法

• Berkeley-Adobe Perceptual Patch Similarity (BAPPS) データセットを導入し、64x64パッチに対して2AFCおよびJND判断を用いる。
• チャネル活性化を正規化し、レイヤー別チャネルウェイトを適用し、空間と層を横断して集約することで、深層特徴空間におけるパッチ間の距離を計算する（LPIPSフレームワーク）。
• 複数のアーキテクチャ（SqueezeNet、AlexNet、VGG）と監督信号（ supervised、self-supervised、unsupervised）を評価する。
• LPIPSの3つのトレーニング構成を探索する：lin（固定特徴の線形キャリブレーション）、tune（事前学習重みからファインチューニング）、scratch（ランダムから訓練） 。
• 伝統的な歪み、CNNベースの歪み、実アルゴリズム出力（超解像、フレーム補間、動画デブラー、カラー化）でテストする。
• 距離を知覚判断に写像する小さな予測子Gを訓練し、距離ペアから判断の予測可能性を調べる。

(a) Traditional

実験結果

リサーチクエスチョン

• RQ1 分類で事前学習された深層特徴（さらには自己监督/無監督学習も含む）は、歪みに跨って人間の知覚的類似性と一致するか？
• RQ2 ネットワークアーキテクチャまたは学習信号が知覚整合性を主に決定するのか、そして単純なキャリブレーションで人間の判断との相関を改善できるか？
• RQ3 学習された知覚距離は、歪みから実世界のアルゴリズム出力や異なる知覚テスト（2AFCとJND）に一般化できるか？
• RQ4 事前学習済みネットワークの線形キャリブレーションが知覚距離を改善するのに十分か、それとも完全なファインチューニングが必要か？
• RQ5 多様な歪みに対して、深層特徴知覚指標は従来のFR-IQA指標（例：SSIM、FSIM）とどう比較されるか？

主な発見

• 深層特徴は、大規模かつ多様なデータセット全体で人間の判断に対して伝統的な知覚指標を大きく上回る。
• 人間は評価された指標と約73.9%の一貫性を示し、一方で監督付きネットワークは約67–69%、伝統的指標は約63%で低い。
• アーキテクチャ（SqueezeNet、AlexNet、VGG）と監督タイプ（supervised、self-supervised、unsupervised）を跨いで、深層特徴は追加のキャリブレーションなしで強力な知覚距離を生み出す。
• 事前学習済みネットワークの線形キャリブレーション（LPIPS lin）は固定特徴より性能を向上させ、さらに調整（LPIPS tune）はテストした構成の中で最良の結果をもたらす；一から訓練する（LPIPS scratch）はしばしばキャリブレーションより劣る。
• 知覚判断へのキャリブレーションは実アルゴリズム出力へ転移し、3つのネットワークと4つの実アルゴリズム課題の12ケース中11ケースで性能を向上させる。
• 知覚的類似性は、意味予測や他の自然タスクのために訓練された表現の新たに出現する特性であるように見え、自己監視型・無監督型表現は監督型と同等の性能を示す。

(b) CNN-based