[論文レビュー] Deep SR-ITM: Joint Learning of Super-Resolution and Inverse Tone-Mapping for 4K UHD HDR Applications

Soo Ye Kim, Jihyong Oh+1 more|arXiv (Cornell University)|Apr 25, 2019

Advanced Image Processing Techniques参考文献 30被引用数 8

ひとこと要約

本稿では、低解像度の標準的ダイナミックレンジ（SDR）動画を高解像度HDRコンテンツに変換するために、超解像（SR）と逆トーンマッピング（ITM）を統合的に行う深層学習フレームワーク、Deep SR-ITMを提案する。画像をベース層とディテール層に分解し、位置に依存するモodulationブロックを適用することで、細かいテクスチャの回復と局所コントラストの強化が可能となり、主観的品質が優れており、先行する統合SR-ITM手法を上回る性能を発揮する。

ABSTRACT

Recent modern displays are now able to render high dynamic range (HDR), high resolution (HR) videos of up to 8K UHD (Ultra High Definition). Consequently, UHD HDR broadcasting and streaming have emerged as high quality premium services. However, due to the lack of original UHD HDR video content, appropriate conversion technologies are urgently needed to transform the legacy low resolution (LR) standard dynamic range (SDR) videos into UHD HDR versions. In this paper, we propose a joint super-resolution (SR) and inverse tone-mapping (ITM) framework, called Deep SR-ITM, which learns the direct mapping from LR SDR video to their HR HDR version. Joint SR and ITM is an intricate task, where high frequency details must be restored for SR, jointly with the local contrast, for ITM. Our network is able to restore fine details by decomposing the input image and focusing on the separate base (low frequency) and detail (high frequency) layers. Moreover, the proposed modulation blocks apply location-variant operations to enhance local contrast. The Deep SR-ITM shows good subjective quality with increased contrast and details, outperforming the previous joint SR-ITM method.

研究の動機と目的

• ネイティブHDRソースが限られている中で、高品質な4K UHD HDR動画コンテンツへの需要が高まる状況に対応するため。
• 同時に超解像と逆トーンマッピングを実行する統一された深層学習フレームワークを構築するため。
• 変換されたHDR動画における高周波数ディテールの回復と局所コントラストの強化により、視覚的品質を向上させるため。
• 段階的な処理の限界を克服し、エンドツーエンドで学習可能なアーキテクチャにおいてSRとITMを統合最適化するため。

提案手法

• 入力画像をベース（低周波数）層とディテール（高周波数）層に分離する特徴分解戦略を採用し、的確な強化を実現する。
• 二重ブランチアーキテクチャにより、ベース層とディテール層を別々に処理することで、構造的コンテンツと繊細なテクスチャの両方の正確な回復を可能にする。
• 空間的文脈に基づいて局所コントラストを適応的に強化する位置に依存する操作を実施するモodulationブロックを導入する。
• 知覚的品質、再構成精度、構造的類似性のバランスを取る統合損失関数を用いて、エンドツーエンドでモデルを学習する。
• 中間のトーンマップ表現を必要とせず、低解像度SDR入力を直接高解像度HDR出力にマッピングする。
• 4K UHD HDRアプリケーションに最適化されており、高解像度動画処理におけるスケーラビリティと視覚的忠実度を確保する。

実験結果

リサーチクエスチョン

• RQ1 超解像と逆トーンマッピングの統合学習は、逐次的または独立した処理に比べ、HDR動画のスケーリングにおいて優れた性能を発揮できるか？
• RQ2 深層ネットワークは、低解像度SDR入力において高周波数ディテールをどれほど効果的に回復できるか、また局所コントラストを保持できるか？
• RQ3 ベース層とディテール層への特徴分解は、HDR動画再構成品質をどの程度向上させるか？
• RQ4 位置に依存するモodulationメカニズムは、再構成済みHDR出力にアーティファクトを生じさせることなく、局所コントラストを向上させられるか？
• RQ5 提示されたエンドツーエンドフレームワークは、従来の最先端手法と比較して、知覚的および定量的指標の両面でどの程度優れているか？

主な発見

• 提案されたDeep SR-ITMフレームワークは、先行する統合SR-ITM手法と比較して、より優れた主観的視覚的品質を達成しており、コントラストが強化され、ディテールがよりシャープに表現されている。
• ベース・ディテール分解機構のおかげで、繊細なテクスチャや高周波数成分の効果的な回復が実現されている。
• 位置に依存するモodulationブロックの使用により、特に高ダイナミックレンジ領域において、局所コントラスト強化が顕著に向上した。
• 定性的および定量的評価の両面で、既存の手法を上回る性能を示しており、ICCV 2019（オーラル）での受容により裏付けられている。
• エンドツーエンドの統合学習戦略により、特徴のアライメントがより良く、カスケード型または別個処理パイプラインよりも一貫性のあるHDR出力が得られる。