[論文レビュー] NAOMI: Non-Autoregressive Multiresolution Sequence Imputation

Yukai Liu, Rose Yu+3 more|arXiv (Cornell University)|Jan 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 16

ひとこと要約

NAOMIは、粗い解像度から細かい解像度へと再帰的に欠損値を埋める非自己回帰的で多スケールの生成モデルを提案する。敵対的訓練と分割統治戦略を活用することで、自己回帰的ベースラインと比較して、欠損データの割合が高く、動的変化が複雑な状況でも、60%の誤差低減を達成する。

ABSTRACT

Missing value imputation is a fundamental problem in spatiotemporal modeling, from motion tracking to the dynamics of physical systems. Deep autoregressive models suffer from error propagation which becomes catastrophic for imputing long-range sequences. In this paper, we take a non-autoregressive approach and propose a novel deep generative model: Non-AutOregressive Multiresolution Imputation (NAOMI) to impute long-range sequences given arbitrary missing patterns. NAOMI exploits the multiresolution structure of spatiotemporal data and decodes recursively from coarse to fine-grained resolutions using a divide-and-conquer strategy. We further enhance our model with adversarial training. When evaluated extensively on benchmark datasets from systems of both deterministic and stochastic dynamics. NAOMI demonstrates significant improvement in imputation accuracy (reducing average prediction error by 60% compared to autoregressive counterparts) and generalization for long range sequences.

研究の動機と目的

• 任意の欠損パターンとスパースなデータが特徴の長距離時空間系列における欠損値補完という重要な課題に取り組むこと。
• 長距離系列において、逐次的依存関係と誤差の累積が原因で深刻な誤差伝搬を引き起こす自己回帰的モデルの課題を克服すること。
• 過去と未来の観測値に条件づけられるスケーラブルな非自己回帰的代替手法を開発し、安定性と精度を向上させること。
• 完全な系列上の柔軟な条件付き分布を学習することで、高比率の欠損データ下でも頑健な一般化を可能にすること。
• 微分可能なジェネレータを用いた敵対的訓練を統合し、生成された軌道のばらつきを低減し、現実性を向上させること。

提案手法

• 粗いスケールから細かいスケールへの時間的解像度にわたる再帰的補完を実現する多スケール分解戦略を採用する。
• 過去と未来の観測値に条件づけられる非自己回帰的デコード機構を用い、逐次的誤差伝搬を回避する。
• 複数の解像度レベルに系列を分割する再帰的・分割統治型の推論プロセスを実装し、効率的なモデリングを実現する。
• 完全に微分可能なジェネレータを用いた生成的敵対的模倣学習（GAIL）を適用し、訓練の安定化とモード崩壊の低減を図る。
• 観測データが与えられたもとでの完全な系列上の条件付き尤度を目的関数として使用し、条件付き分布の完全な生成的モデリングを可能にする。
• 異なる時間スケールで現実性を強制するマルチスケールディスクライマーを適用し、生成された系列の忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 任意の欠損パターン下でも、自己回帰的モデルに比べて非自己回帰的モデルが長距離系列補完で優れた性能を示せるか？
• RQ2 再帰的多スケールデコードは、単一スケールまたは自己回帰的アプローチと比較して、補完精度と一般化性能をどのように向上させるか？
• RQ3 微分可能な方策を用いた敵対的訓練は、系列補完におけるばらつきとモード崩壊をどの程度低減するか？
• RQ4 欠損データの割合が増加する状況下で、モデルの性能はどのように変化するか。観測制約とモデルの柔軟性の間でどのようなトレードオフが生じるか？
• RQ5 同じモデルアーキテクチャを、アーキテクチャの変更なしに前向き予測に効果的にファインチューニングできるか？

主な発見

• NAOMIは、交通、ビリヤード、バスケットボールの軌道を含むベンチマークデータセットにおいて、自己回帰的モデルと比較して平均補完誤差を60%低減した。
• すべての指標（屈曲度、ステップ変化、反射精度、L2損失）で優れた性能を示し、特に前向き予測においてエキスパートレベルの性能に近い結果を得た。
• ビリヤードの前向き予測において、NAOMIのL2損失は1.682×10⁻³であったのに対し、SingleResは4.753×10⁻³、エキスパートは0.0であったため、ほぼエキスパートレベルの精度に達した。
• 既知の観測値の数が増えるにつれて、NAOMIの予測のばらつきが低下し、不確実性が低減された条件付き分布が学習されたことが示された。
• 高比率の欠損データ下でも、自己回帰的モデルに比べてNAOMIはより優れた一般化性能を示した。ベースラインの性能は著しく低下した。
• 一部のモード崩壊は見られたが、NAOMIは、希少な観測下でも、ボールの反射や曲線軌道といった複雑な動的挙動を効果的に捉えていた。