[論文レビュー] OneRestore: A Universal Restoration Framework for Composite Degradation

Yu Guo, Yuan Gao+4 more|arXiv (Cornell University)|Jul 5, 2024

Conservation Techniques and StudiesArts and Humanities被引用数 3

ひとこと要約

OneRestoreは、シーン記述子を用いて適応的かつ制御可能に復元する、汎用的でトランスフォーマー基盤の画像復元フレームワークを提案する。低照度、はだ、雨、雪などの複合劣化を統合的に処理する。クロスアテンション機構と負例を用いた複合劣化復元損失を統合することで、合成データおよび実世界データの両方で最先端の性能を達成し、複数要因が重複する複雑な劣化状況において、既存手法を顕著に上回る。

ABSTRACT

In real-world scenarios, image impairments often manifest as composite degradations, presenting a complex interplay of elements such as low light, haze, rain, and snow. Despite this reality, existing restoration methods typically target isolated degradation types, thereby falling short in environments where multiple degrading factors coexist. To bridge this gap, our study proposes a versatile imaging model that consolidates four physical corruption paradigms to accurately represent complex, composite degradation scenarios. In this context, we propose OneRestore, a novel transformer-based framework designed for adaptive, controllable scene restoration. The proposed framework leverages a unique cross-attention mechanism, merging degraded scene descriptors with image features, allowing for nuanced restoration. Our model allows versatile input scene descriptors, ranging from manual text embeddings to automatic extractions based on visual attributes. Our methodology is further enhanced through a composite degradation restoration loss, using extra degraded images as negative samples to fortify model constraints. Comparative results on synthetic and real-world datasets demonstrate OneRestore as a superior solution, significantly advancing the state-of-the-art in addressing complex, composite degradations.

研究の動機と目的

• 単一の劣化要因に焦点を当てた既存の画像復元手法が、複数の障害要因が重複する現実世界の複合的状況を十分にカバーしていないというギャップを埋める。
• モデルの再トレーニングや手動での再設定を必要とせず、多様な劣化タイプにわたって適応的かつ制御可能な復元が可能な統合フレームワークの開発。
• シーン記述子（テキストまたは視覚ベース）と、負例を用いた新規な複合劣化復元損失を統合することで、モデルのロバスト性とユーザーの制御性を向上。
• 物理的劣化モデル（低照度、はだ、雨、雪）を組み合わせることで、現実的な複合劣化状況をシミュレートする新しいデータセットCDD-11を構築し、汎用的復元モデルの有効なトレーニングと評価を可能に。

提案手法

• フレームワークは、劣化したシーン記述子と画像特徴を融合する新しいクロスアテンションブロックを備えたトランスフォーマー基盤アーキテクチャを採用。
• シーン記述子は手動によるテキスト埋め込みまたは自動的な視覚的属性抽出により生成され、柔軟で制御可能な入力を可能にする。
• 複合劣化復元損失を導入し、追加の劣化画像を負例として用いることで、モデル出力に対するきびしい下限制約を強制。
• CDD-11データセット上でモデルをトレーニング。これは、低照度、はだ、雨、雪の物理的劣化モデルを組み合わせることで、現実的な複合劣化をシミュレートする新規に構築されたベンチマーク。
• 1つのモデルが複数の劣化タイプを統合的に処理できる「One-to-Composite」復元戦略をサポートし、特別なサブモデルを必要とせず、混合劣化タイプに動的に適応可能。
• 劣化固有の記述子に条件付けたアテンションメカニズムにより、復元の制御性を高め、ユーザーの意図に適合したより良いアライメントを実現。

Figure 1 : Our OneRestore allows fully controllable image restoration using scene descriptors derived from both automatic visual attribute extraction (top) and manual text embeddings (bottom).

実験結果

リサーチクエスチョン

• RQ1 低照度、はだ、雨、雪といった複数の同時劣化要因を含む複合劣化を、1つの画像復元モデルが効果的に処理できるか。
• RQ2 手動で提供されたか、自動抽出されたシーン記述子が、多様な劣化タイプにわたる制御可能で適応的な復元を可能にするか。
• RQ3 負例を用いた複合劣化復元損失を組み込むことで、モデルの一般化性能と出力忠実度がどのように向上するか。
• RQ4 合成された複合劣化データセット（CDD-11）でトレーニングしたモデルが、実世界の複雑な劣化状況にどの程度一般化できるか。

主な発見

• NIQEおよびPIQE指標で測定したところ、OneRestoreは4つの実世界ベンチマーク（NPE：低照度、RESIDE RTTS：除霧、Yangのデータセット：除雨、Snow100k-R：除雪）で最先端の性能を達成。
• 合成データおよび実世界データの両方で、既存の最先端手法を顕著に上回り、複雑な複合劣化状況への強い一般化能力を示した。
• シーン記述子の使用により、入力記述に応じて特定の劣化タイプを優先的に復元できる精密な制御が可能であり、視覚的比較で妥当性が検証された。
• 負例を用いた複合劣化復元損失は、モデルを効果的に制約し、分布シフトを低減させ、復元忠実度の下限をより厳密に設定することで出力品質を向上。
• 実世界データセットにおける視覚的結果から、OneRestoreは、重度の複合劣化下でも、クリアな参照画像に近い高品質で詳細豊かな出力を得られることを確認した。
• 失敗事例から、高密度の腐食や雨粒、モアレパターンなど、モデルに組み込まれていない劣化タイプの処理に限界があることが判明し、今後の改善の余地が示唆された。

Figure 2 : Structural comparison between One-to-One, One-to-Many, and our One-to-Composite image restoration methods.