[論文レビュー] Invertible Autoencoder for domain adaptation

Yunfei Teng, Anna Choromanska+1 more|arXiv (Cornell University)|Feb 10, 2018

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、パラメータ共有と正規直交制約を用いてエンコーダとデコーダの逆写像関係を明示的に強制することで、学習可能なパラメータ数を最大50%削減する、非教師付き画像間ドメイン変換向けの可逆自己オートエンコーダ（InvAuto）を提案する。本手法はベンチマークデータセットで最先端の性能を達成し、PilotNetのような自動運転モデルの性能を保持する高品質な動画変換を可能にする。

ABSTRACT

The unsupervised image-to-image translation aims at finding a mapping between the source ($A$) and target ($B$) image domains, where in many applications aligned image pairs are not available at training. This is an ill-posed learning problem since it requires inferring the joint probability distribution from marginals. Joint learning of coupled mappings $F_{AB}: A ightarrow B$ and $F_{BA}: B ightarrow A$ is commonly used by the state-of-the-art methods, like CycleGAN [Zhu et al., 2017], to learn this translation by introducing cycle consistency requirement to the learning problem, i.e. $F_{AB}(F_{BA}(B)) \approx B$ and $F_{BA}(F_{AB}(A)) \approx A$. Cycle consistency enforces the preservation of the mutual information between input and translated images. However, it does not explicitly enforce $F_{BA}$ to be an inverse operation to $F_{AB}$. We propose a new deep architecture that we call invertible autoencoder (InvAuto) to explicitly enforce this relation. This is done by forcing an encoder to be an inverted version of the decoder, where corresponding layers perform opposite mappings and share parameters. The mappings are constrained to be orthonormal. The resulting architecture leads to the reduction of the number of trainable parameters (up to $2$ times). We present image translation results on benchmark data sets and demonstrate state-of-the art performance of our approach. Finally, we test the proposed domain adaptation method on the task of road video conversion. We demonstrate that the videos converted with InvAuto have high quality and show that the NVIDIA neural-network-based end-to-end learning system for autonomous driving, known as PilotNet, trained on real road videos performs well when tested on the converted ones.

研究の動機と目的

• ペaired学習データが入手できない非教師付き画像間変換における不適切な定式化の問題に対処すること。
• サイクル整合性を上回る、入力ドメインから出力ドメイン、およびその逆方向への写像の明示的な逆関係を強制すること。
• エンコーダとデコーダの層間でパラメータを共有することで、モデルの複雑さを低減すること。
• ドメイン適応後の画像の一般化性能および下流タスク（例：自動運転）への転送可能性を向上させること。
• 可逆アーキテクチャが、実世界の展開に適した高品質な変換を実現できることを示すこと。

提案手法

• InvAutoアーキテクチャは、重みを共有し、写像を正規直交に制約することで、エンコーダとデコーダの層が逆操作を実行するように強制する。
• 各エンコーダ層は、対応するデコーダ層とペアを成し、逆の変換を実行する。ペア間でパラメータを共有する。
• 安定で可逆な変換を保証するため、正規直交な重み行列を用いる。これにより、写像における歪みを最小限に抑える。
• 訓練目的関数には敵対的損失とサイクル整合性損失を組み合わせ、さらに前向きと逆向きの写像の合成が恒等写像に近づく制約を追加する。
• MLPおよびResNetベースのモデルを用いて、MNISTおよびCIFARデータセット上で画像間変換タスクに本アーキテクチャを適用する。
• マップから衛星画像、夜間から昼間への動画変換を含むドメイン適応タスクで評価し、パラメータ効率性と逆写像品質に関するアブレーションを実施。

実験結果

リサーチクエスチョン

• RQ1 エンコーダとデコーダ間の明示的な可逆性を強制することで、サイクル整合性を上回る非教師付きドメイン適応が可能になるか？
• RQ2 可逆自己オートエンコーダにおける重みの縛り（weight tying）によるパラメータ共有は、性能を損なわせることなくモデルの複雑さを低減できるか？
• RQ3 得られた変換結果が、自動運転のPilotNetのような下流モデルの性能を維持するほど、意味的・構造的正確性を保っていると言えるか？
• RQ4 画像品質とパラメータ効率性の観点から、InvAutoアーキテクチャはCycleGAN や UNIT といった最先端手法と比べてどのように差をつけるか？
• RQ5 正規直交制約が、学習された写像の安定性および可逆性をどの程度向上させるか？

主な発見

• InvAutoはベンチマーク画像変換タスクで最先端の性能を達成し、CycleGANと同等またはわずかに劣るが、パラメータ効率性に優れる。
• InvAutoにおける行列積 DE が恒等行列に最も近いことが確認され、CycleGAN や VAE とは異なり、エンコーダ・デコーダペアがほぼ正確な逆写像であることが裏付けられた。
• 自動運転ベンチマークでは、InvAutoが生成した昼間から夜間、夜間から昼間への動画により、PilotNetは99.0%の自律走行率と69.6%の位置精度を達成し、CycleGANと同等の性能を示し、元の夜間映像に比べ顕著に優れた結果を得た。
• エンコーダとデコーダの層間で重みを共有することで、学習可能なパラメータ数を最大50%削減できた。
• NVIDIA評価システムにおける安定した性能指標から、フレーム間の一貫性が最小限に抑えられ、高品質な動画を維持していることが裏付けられた。
• 数値評価では、InvAutoのFIDスコアはCycleGANおよびUNITの範囲内にあり、昼間から夜間への変換で0.062、夜間から昼間への変換で0.080を記録し、CycleGANの最良結果に近い水準であった。