[論文レビュー] PixelRL: Fully Convolutional Network with Reinforcement Learning for Image Processing

Ryosuke Furuta, Naoto Inoue+1 more|arXiv (Cornell University)|Dec 16, 2019

Image Enhancement Techniques参考文献 70被引用数 7

ひとこと要約

この論文では、各画素が独立したエージェントとして機能し、画素単位の報酬を用いて画像処理タスクを最適化する、完全畳み込み型強化学習フレームワークであるPixelRLを提案する。相互に依存する画素間の関係をモデル化するための報酬マップ畳み込み（RMC）を導入することで、画像のノイズ除去、修復、局所的色彩強調、サリエンシー駆動型編集において、最先端または同等の性能を達成し、可視化可能な行動方針により内在的な解釈可能性を有する。

ABSTRACT

This paper tackles a new problem setting: reinforcement learning with pixel-wise rewards (pixelRL) for image processing. After the introduction of the deep Q-network, deep RL has been achieving great success. However, the applications of deep reinforcement learning (RL) for image processing are still limited. Therefore, we extend deep RL to pixelRL for various image processing applications. In pixelRL, each pixel has an agent, and the agent changes the pixel value by taking an action. We also propose an effective learning method for pixelRL that significantly improves the performance by considering not only the future states of the own pixel but also those of the neighbor pixels. The proposed method can be applied to some image processing tasks that require pixel-wise manipulations, where deep RL has never been applied. Besides, it is possible to visualize what kind of operation is employed for each pixel at each iteration, which would help us understand why and how such an operation is chosen. We also believe that our technology can enhance the explainability and interpretability of the deep neural networks. In addition, because the operations executed at each pixels are visualized, we can change or modify the operations if necessary. We apply the proposed method to a variety of image processing tasks: image denoising, image restoration, local color enhancement, and saliency-driven image editing. Our experimental results demonstrate that the proposed method achieves comparable or better performance, compared with the state-of-the-art methods based on supervised learning. The source code is available on https://github.com/rfuruta/pixelRL.

研究の動機と目的

• 低レベルの画像処理において画素単位の操作を必要とする分野に強化学習の応用が不足しているという問題に対処すること。
• 数百万画素を有する高解像度画像にマルチエージェント強化学習を適用する際の計算不能性を克服すること。
• 完全畳み込みネットワークを用いてパラメータ共有を実現し、画素レベルの意思決定にスケーラブルなフレームワークを構築すること。
• 各画素ごとの学習済み行動を可視化することで、人間が関与できる形でのモデルの理解・修正を可能にする、解釈性の向上。
• 教師あり学習を超えた多様な画像処理タスクにおいて、PixelRLの有効性を実証すること。

提案手法

• 各画素を、局所的な状態観測に基づいて自らの値を変更する行動を選択する独立したエージェントとしてモデル化する。
• 完全畳み込みネットワーク（FCN）を用いることで、すべての画素エージェント間でパラメータを共有し、計算コストを著しく削減する。
• 報酬マップ畳み込み（RMC）を導入し、各エージェントが隣接画素の将来の状態を考慮できるようにすることで、方策学習の性能を向上させる。
• 安定した学習を実現するため、アドバンテージ関数推定を用いたA3Cベースのアクタークリティックフレームワークを採用する。
• 行動空間はアプリケーションごとに事前に定義される（例：明るさのシフト、コントラスト調整）、エージェントは密な画素単位の報酬を通じて最適な行動を学習する。
• エピソード長（$t_{max}$）を制御することで、サリエンシー駆動型編集における修正の範囲を調整可能にし、微調整の柔軟性を提供する。

実験結果

リサーチクエスチョン

• RQ1 画素単位の意思決定を要する低レベルの画像処理タスク（例：ノイズ除去、修復）に強化学習を効果的に適用できるか。
• RQ2 数百万のエージェントを含む高解像度画像にマルチエージェント強化学習をスケーラブルに適用する方法は何か。
• RQ3 報酬マップ畳み込みを用いて画素間の依存関係をモデル化することで、画素レベルの強化学習における学習性能を顕著に向上させられるか。
• RQ4 学習済み方策はどの程度解釈可能であり、可視化された行動がモデルの挙動の理解や修正に役立つか。
• RQ5 PixelRLは教師あり深層学習手法と同等またはそれ以上の性能を、教師なしまたは弱教師ありの設定で達成できるか。

主な発見

• 報酬マップ畳み込みを用いた提案手法PixelRLは、PiCANetにおいて、正規化相関係数（CC）が0.53を達成し、ベースライン手法（OHA：0.23、HAG：0.29）を上回った。
• サリエンシー駆動型画像編集において、$t_{max}=15$の条件下で元の画像との構造的類似性（SSIM）が0.73に達し、全画素の編集にもかかわらず自然な出力が得られた。
• 教師あり最良手法を上回る性能を、画像のノイズ除去および修復タスクで達成した。教師あり学習に必要なペairedデータを一切不要としており、同等または優れた結果を示した。
• RMCとconvGRUの導入により、すべてのタスクで性能が向上した。$t_{max}=15$の条件下でPiCANetにおけるCCは、0.37から0.53に上昇し、その有効性が裏付けられた。
• 各画素ごとの行動を可視化した結果、ターゲット領域の強調や非ターゲット領域の抑制といった解釈可能な編集戦略が明確に現れ、手法の透明性を確認した。
• 6種類の異なるサリエンシー地図推定手法を用いた実験において、ターゲット領域のサリエンシーを効果的に強化する能力を示し、ロバストネスと一般化性能の高さを確認した。