[論文レビュー] Transformer for Image Quality Assessment

Junyong You, Jari Korhonen|arXiv (Cornell University)|Dec 30, 2020

Image and Video Quality Assessment参考文献 14被引用数 5

ひとこと要約

本論文では、畳み込みニューラルネットワーク（CNN）特徴量と適応的ポジショナルエンベッディングを用いて浅いTransformerエンコーダーと組み合わせる、画像品質評価のための新しいTransformerベースのアーキテクチャであるTRIQを提案する。この手法は、画像特徴量における長距離依存関係を効果的にモデル化しながら、任意の入力解像度をサポートできるため、複数の公開画像品質データベースで最先端の性能を達成する。

ABSTRACT

Transformer has become the new standard method in natural language processing (NLP), and it also attracts research interests in computer vision area. In this paper we investigate the application of Transformer in Image Quality (TRIQ) assessment. Following the original Transformer encoder employed in Vision Transformer (ViT), we propose an architecture of using a shallow Transformer encoder on the top of a feature map extracted by convolution neural networks (CNN). Adaptive positional embedding is employed in the Transformer encoder to handle images with arbitrary resolutions. Different settings of Transformer architectures have been investigated on publicly available image quality databases. We have found that the proposed TRIQ architecture achieves outstanding performance. The implementation of TRIQ is published on Github (https://github.com/junyongyou/triq).

研究の動機と目的

• Transformerアーキテクチャの画像品質評価への応用を検討すること。これは、従来はCNNに支配的であったタスクである。
• 標準的なTransformerにおける固定解像度入力の制限を克服するため、任意の画像解像度に対応できるように、適応的ポジショナルエンベッディングを導入すること。
• 自己注意機構を活用して画像特徴量の長距離依存関係をモデル化することで、画像品質評価ベンチマークにおける性能を向上させること。
• ハイブリッドCNN-Transformerアーキテクチャを用いて、画像品質評価のための新たな最先端のベースラインを確立すること。

提案手法

• 本手法は、事前に訓練された畳み込みニューラルネットワークによって抽出された特徴マップの上に、浅いTransformerエンコーダーを積み重ねる。
• 適応的ポジショナルエンベッディングを導入することで、位置バイアスを回避し、任意の解像度の画像を処理できるようにする。
• マルチヘッド自己注意機構を用いて、画像パッチ間のグローバルな依存関係を捉える。
• CNNからの特徴マップをTransformerの入力トークンとし、最終的な回帰または分類に学習可能なクラストークンを用いる。
• 標準的な回帰損失関数を用いて、公開の画像品質評価データベース上でエンドツーエンドでモデルを訓練する。
• 再現可能性およびさらなる研究を促進するため、実装をGitHubに公開している。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのアーキテクチャは、従来のCNNベースの手法を上回る性能を発揮できるか？
• RQ2 適応的ポジショナルエンベッディングの統合は、さまざまな解像度の画像における性能にどのように影響するか？
• RQ3 画像品質評価タスクにおいて、Transformerエンコーダーの最適な深さと構成は何か？
• RQ4 本手法は、標準的な画像品質評価ベンチマークにおいて、最先端のモデルと比較してどうなるか？

主な発見

• 提案されたTRIQモデルは、複数の公開画像品質評価データベースで最先端の性能を達成した。
• 適応的ポジショナルエンベッディングの使用により、性能の低下を伴わずに任意の解像度の画像に一般化できるようになった。
• 浅いTransformerエンコーダー（例：2〜4層）が最適な性能を発揮したため、このタスクでは深層アーキテクチャが必ずしも必要ではないことが示された。
• 標準ベンチマークにおけるPLCCやSROCCなどの相関指標において、従来のCNNベースおよびハイブリッドモデルを上回る性能を発揮した。
• アブレーションスタディの結果、自己注意機構が画像特徴量の長距離依存関係をモデル化することで、性能が顕著に向上することが確認された。
• 実装はGitHubで公開されており、研究コミュニティにおける再現性およびさらなる開発を促進している。