[論文レビュー] Semantic uncertainty intervals for disentangled latent spaces

Swami Sankaranarayanan, Anastasios N. Angelopoulos+3 more|arXiv (Cornell University)|Jul 20, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本論文は、生成モデルの分離された潜在空間における統計的に保証された意味的意味のある不確実性区間を生成する手法を提案する。分位数回帰とリスク制御キャリブレーションを組み合わせることで、髪の色や物体の位置といった意味的要因に対して、真の値を高い確率で含むインスタンス適応型の不確実性区間を生成する。これは、超解像や穴埋めなどの画像修復タスクにおける解釈可能な不確実性可視化を可能にする。

ABSTRACT

Meaningful uncertainty quantification in computer vision requires reasoning about semantic information -- say, the hair color of the person in a photo or the location of a car on the street. To this end, recent breakthroughs in generative modeling allow us to represent semantic information in disentangled latent spaces, but providing uncertainties on the semantic latent variables has remained challenging. In this work, we provide principled uncertainty intervals that are guaranteed to contain the true semantic factors for any underlying generative model. The method does the following: (1) it uses quantile regression to output a heuristic uncertainty interval for each element in the latent space (2) calibrates these uncertainties such that they contain the true value of the latent for a new, unseen input. The endpoints of these calibrated intervals can then be propagated through the generator to produce interpretable uncertainty visualizations for each semantic factor. This technique reliably communicates semantically meaningful, principled, and instance-adaptive uncertainty in inverse problems like image super-resolution and image completion.

研究の動機と目的

• 超解像や画像補完などの画像値推定問題における、原理的で意味的意味のある不確実性評価の欠如に対処すること。
• 髪の色や物体の位置といった意味的要因の分離された潜在要因に対する不確実性区間を提供すること。
• これらの区間が、潜在要因の真の値を高い確率で含むように保証され、基礎となるデータ分布やモデルアーキテクチャに依存しない統計的妥当性を確保すること。
• 生成器を通じてキャリブレートされた潜在区間を伝搬させることで、画像空間における解釈可能な不確実性可視化を可能にすること。
• 特に分離表現を持つGANを含む生成モデルの潜在空間に、分布フリーな不確実性評価技術を拡張すること。

提案手法

• 入力画像に対して各意味的要因ごとに3つの出力を予測するニューラルネットワークエンコーダを学習する：点推定、下側条件分位数、上側条件分位数。
• 潜在空間における予測区間を推定するために分位数回帰を用い、入力に条件付けられた意味的要因の分布をモデル化する。
• 得られた区間が、新しい未観測入力に対してユーザー指定の確率（1−α）で真の潜在値を含むように、分位数推定値を調整するリスク制御キャリブレーション手順を適用する。
• 交換可能性の下で、データ分布に関する仮定を必要とせず、マージナルカバレッジの保証を得るために、別個のキャリブレーションデータセットを用いて区間をキャリブレートする。
• キャリブレートされた下限と上限の区間エンドポイントを生成器を通じて伝搬させ、他のすべての潜在次元を点推定に固定することで、画像空間における不確実性を可視化する。
• 不確実性集合を $ \mathcal{T}(X)_d = [q^{\text{cal}}_{\alpha/2}(X)_d, q^{\text{cal}}_{1-\alpha/2}(X)_d] $ として定式化し、これは高確率で真の意味的要因の $1-\alpha$ 分率をカバーすることが保証される。

実験結果

リサーチクエスチョン

• RQ1 分離された潜在空間における意味的要因の不確実性区間を、統計的に妥当かつ画像空間で解釈可能に生成できるか？
• RQ2 有限サンプル条件下でも、潜在要因の不確実性区間が真の値を高い確率で含むように保証できるか？
• RQ3 元々予測出力のために設計された分布フリーな不確実性評価技術を、生成モデルの潜在空間に適応できるか？
• RQ4 潜在空間におけるキャリブレートされた不確実性区間は、超解像や穴埋めなどの逆画像問題における解釈可能性と信頼性をどの程度向上できるか？
• RQ5 キャリブレーションデータセットとテストデータセットの間でデータ分布がシフトした場合、不確実性のキャリブレーションは維持されるか？

主な発見

• 提案手法は、最小限の仮定の下で、真の意味的要因値を高い確率で含むことを保証する分離潜在空間における不確実性区間を生成する。これは、マージナルカバレッジの保証を満たす。
• キャリブレートされた区間は、初期の分位数推定値が不適切にキャリブレートされていても、すべての意味的要因で所望のカバレッジ率（1−α）を達成する。
• キャリブレートされた区間エンドポイントを生成器に伝搬させることで、画像空間に直接、直感的で意味的解釈可能な不確実性可視化を生成する。
• エンコーダや生成モデルの選択に強く依存せず、潜在空間が分離されており、キャリブレーションデータがテスト分布を代表している限り、手法は頑健である。
• 実験では、モデルが不確実な領域（例：信頼度が低い画像修復領域）では不確実性区間が拡大することを示しており、インスタンス適応型の不確実性を示している。
• この手法はモデルの予測を変更せず、統計的に厳密な不確実性レイヤーを追加するため、セーフティクリティカルな応用に適している。