[論文レビュー] PyTorch Image Quality: Metrics for Image Quality Assessment

Sergey Kastryulin, Jamil Zakirov+2 more|arXiv (Cornell University)|Aug 31, 2022

Image Enhancement Techniques被引用数 11

ひとこと要約

この論文では、フルレファレンス、ノーレファレンス、およびディストリビューションベースのカテゴリーにまたがる38以上の画像品質評価（IQA）指標を実装する、オープンソースでGPUアクセラレーション対応のライブラリであるPyTorch Image Quality（PIQ）を紹介する。PyTorch上で構築されたPIQは、きめ細やかなテストと最適化を通じて正しさ、信頼性、高いパフォーマンスを確保し、人間の知覚と強い相関を持つ深層学習パイプラインでの効率的な利用を可能にする。

ABSTRACT

Image Quality Assessment (IQA) metrics are widely used to quantitatively estimate the extent of image degradation following some forming, restoring, transforming, or enhancing algorithms. We present PyTorch Image Quality (PIQ), a usability-centric library that contains the most popular modern IQA algorithms, guaranteed to be correctly implemented according to their original propositions and thoroughly verified. In this paper, we detail the principles behind the foundation of the library, describe the evaluation strategy that makes it reliable, provide the benchmarks that showcase the performance-time trade-offs, and underline the benefits of GPU acceleration given the library is used within the PyTorch backend. PyTorch Image Quality is an open source software: https://github.com/photosynthesis-team/piq/.

研究の動機と目的

• Pythonにおける最新のIQA指標の信頼性があり、コミュニティで検証され、使いやすい実装の不足に対処すること。
• 元の定式化に従って正しく実装されることを保証する、統一的でしっかりテストされ最適化されたライブラリを提供すること。
• PyTorchワークフロー内でGPUアクセラレーションを活用したIQA指標の高性能計算を可能にすること。
• 画像復元、強調、医療画像処理を含む多様な研究応用を支援するため、包括的かつ拡張可能なIQAツールキットを提供すること。
• IQA指標の再実装やデバッグの負担を軽減するため、1つの検証済みで積極的にメンテナンスされているリソースを提供すること。

提案手法

• ライブラリは、PyTorchを用いて微分可能でGPUアクセラレーション対応の計算が可能な38以上のIQA指標（PSNR、SSIM、LPIPS、FID、KID、DISTSなど）を実装している。
• 各指標は、元の実装および形式的定義と照合してきめ細かくテストされ、正しさと一貫性が保証されている。
• ライブラリは、主に3つのIQAカテゴリーをサポートする：フルレファレンス（FR）、ノーレファレンス（NR）、およびディストリビューションベース（DB）指標。DB指標は、VGG16、VGG19、InceptionNetなどの複数の特徴抽出器と互換性がある。
• パフォーマンスと使いやすさの間の妥当な妥協を尊重するPyTorchの原則に従い、速度と使いやすさのバランスを取るために、最適化技術を選択的に適用している。
• 研究者が認知的負荷を最小限に抑えられるように、直感的なAPIを採用したユーザーフレンドリーな設計がなされている。
• KADID-10k、TID2013、PIPAL、MRI再構成などの標準データセットを用いたベンチマークにより、CPUおよびGPUでのパフォーマンス–時間のトレードオフが評価されている。

実験結果

リサーチクエスチョン

• RQ1 実装の不一致を低減するために、統一的で信頼性があり使いやすいPythonベースの画像品質評価ライブラリをどのように設計できるか？
• RQ2 PyTorchバックエンドを用いた場合、CPUとGPUで実行する現代のIQA指標のパフォーマンス–時間のトレードオフはどのようになるか？
• RQ3 GPUアクセラレーションは、深層学習パイプラインにおけるIQA指標計算の効率をどの程度向上させるか？
• RQ4 医療画像を含む多様な画像ドメインにおいて、実装された指標は人間の知覚とどの程度相関しているか？
• RQ5 1つのしっかりテストされたライブラリが、複数の分散的で、誤りを含む可能性のあるIQA指標実装の必要性を置き換えることができるか？

主な発見

• PIQは、FR、NR、DBカテゴリーにまたがる38以上のIQA指標を実装しており、厳密な検証により、元の定式化と整合性を保証している。
• GPU上で高いパフォーマンスを達成しており、CPU実行と比較して顕著な高速化が実現され、リアルタイムおよび大規模なトレーニングパイプラインに適している。
• KADID-10kおよびMRI再構成データセットにおいて、DISTSやLPIPSなどの指標は人間の知覚と強い相関（Spearman Rank Correlation Coefficient: SRCC > 0.9）を示し、計算オーバーヘッドも低く抑えられている。
• TID2013およびPIPALデータセットにおけるベンチマーク結果から、DISTS、LPIPS、FIDなどの指標は、パフォーマンス–時間プロットの左上領域で高いSRCCスコア（>0.85）を達成しており、最適なトレードオフが実現されていることが示された。
• PIQは、医療画像品質研究やニューラルアーキテクチャ開発を含む複数の研究プロジェクトで採用されており、実用的で信頼性の高いことが確認された。
• GitHubで640以上のスターと57件のフォークを獲得し、月間4,000件以上のビューを記録しており、コミュニティによる広範な採用と活発な利用が示されている。