[論文レビュー] Learning Light Transport the Reinforced Way

Ken Dahm, Alexander Keller|arXiv (Cornell University)|Jan 25, 2017

Advanced Vision and Imaging参考文献 32被引用数 8

ひとこと要約

本論文は、入射放射輝度の近似としてQ関数をモデル化することにより、強化学習に基づく重要度サンプリングの学習と適用を提案する。時間的に適応するQ値を用いて経路を光の発生源に誘導することで、ゼロ寄与経路を著しく削減し、標準的手法と比較して20％のランタイムオーバーヘッドで顕著にノイズを低減する。

ABSTRACT

We show that the equations of reinforcement learning and light transport simulation are related integral equations. Based on this correspondence, a scheme to learn importance while sampling path space is derived. The new approach is demonstrated in a consistent light transport simulation algorithm that uses reinforcement learning to progressively learn where light comes from. As using this information for importance sampling includes information about visibility, too, the number of light transport paths with zero contribution is dramatically reduced, resulting in much less noisy images within a fixed time budget.

研究の動機と目的

• 遮蔽やサンプリングの不備による高分散とゼロ寄与経路の原因となる、従来のパストレーシングの非効率性に対処すること。
• 事前処理なしに光源の起源を学習可能な、オンラインで適応する重要度サンプリング方式の開発。
• 強化学習と光輸送の数学的構造を共有する積分方程式を通じて統一すること。
• レンダリング中に経路サンプルから学習することで、モンテカルロ光輸送の収束速度と画像品質を向上させること。
• 動的シーンにおけるリアルタイムでフレーム間の一貫性を持つ重要度サンプリングを可能にすること。

提案手法

• 論文は、光輸送シミュレーションで用いられる第二種フリードホルム積分方程式とQ学習の更新則との間の対応関係を確立する。
• Q値関数を再帰的なネウマン級数の代わりに、オンラインの時系列差分更新により滑らかな入射放射輝度の近似として定式化する。
• 遷移核に基づいてすべての可能な次行動の重み付き平均を取る期待SARSA風の更新（式3）を用いることで、グリーディQ学習よりも安定性が向上する。
• 重要度サンプリングは、将来の放射輝度寄与の期待値を表す学習済みQ値によって誘導され、効果的に経路を可能性の高い光源に向け導く。
• 本手法はパストレーシングフレームワークに統合されており、事前計算なしにレンダリング中にオンライン学習が可能である。
• Q関数は方向に離散化されており、レンダリング中の効率的かつ逐次的な更新が可能である。

実験結果

リサーチクエスチョン

• RQ1 共有の数学的枠組みを通じて、強化学習を用いて光輸送シミュレーションにおける重要度のモデル化と学習が可能か？
• RQ2 将来のQ値の重み付き平均（期待SARSA）を用いることで、グリーディ行動選択よりもノイズの低減に優れるか？
• RQ3 レンダリング中にQ値をオンラインで学習することで、事前処理なしにゼロ寄与光輸送経路の数を削減できるか？
• RQ4 標準的手法とメトロポリス光輸送と比較して、本手法はノイズ低減と収束速度の両面で優れているか？
• RQ5 学習済みQ関数を用いて経路サンプリングを誘導することで、平均経路長を短縮し、効率を向上させられるか？

主な発見

• 強化学習に基づく重要度サンプリングは、反射に基づく重要度サンプリングを用いた標準的手法と同等のパス数でも、顕著にノイズを低減する。
• 本手法はゼロ寄与光輸送経路の数を著しく削減し、モンテカルロレンダリングにおける主なノイズ源を効果的に低減する。
• 期待SARSA（式3）によるQ更新は、グリーディQ学習（式1）を上回る性能を示す。後者は分散が高く、収束が劣る。
• 1280×720画像の1反復あたり51msで実行され、標準的手法（41ms）と比較して20％のオーバーヘッドであるが、ノイズ低減の恩恵が著しい。
• 経路がランダムにサンプリングされるのではなく、光源に誘導されるため、平均経路長が短縮され、効率が向上する。
• 本手法はメトロポリスサンプリングなどの既存技術と互換性があり、階層的またはニューラルネットワークベースのQ関数表現へも拡張可能である。