[論文レビュー] RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline Model and DoF-based Curriculum Learning

Kang Liao, Lang Nie+3 more|arXiv (Cornell University)|Jan 4, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、非剛性変形をモデル化するための薄板スプライン（TPS）モジュールと、自由度（DoF）に基づくカリキュラム学習戦略を併用することで、歪みのないコンテンツとまっすぐな境界を同時に保持する、新しい教師なし深層学習フレームワーク、RecRecNetを提案する。この手法は、4-DoFの類似変換から8-DoFのホモグラフィー変換へと段階的に変形ルールを学習することで、定量的指標および視覚的品質の両面で優れた性能を達成する。

ABSTRACT

The wide-angle lens shows appealing applications in VR technologies, but it introduces severe radial distortion into its captured image. To recover the realistic scene, previous works devote to rectifying the content of the wide-angle image. However, such a rectification solution inevitably distorts the image boundary, which changes related geometric distributions and misleads the current vision perception models. In this work, we explore constructing a win-win representation on both content and boundary by contributing a new learning model, i.e., Rectangling Rectification Network (RecRecNet). In particular, we propose a thin-plate spline (TPS) module to formulate the non-linear and non-rigid transformation for rectangling images. By learning the control points on the rectified image, our model can flexibly warp the source structure to the target domain and achieves an end-to-end unsupervised deformation. To relieve the complexity of structure approximation, we then inspire our RecRecNet to learn the gradual deformation rules with a DoF (Degree of Freedom)-based curriculum learning. By increasing the DoF in each curriculum stage, namely, from similarity transformation (4-DoF) to homography transformation (8-DoF), the network is capable of investigating more detailed deformations, offering fast convergence on the final rectangling task. Experiments show the superiority of our solution over the compared methods on both quantitative and qualitative evaluations. The code and dataset are available at https://github.com/KangLiao929/RecRecNet.

研究の動機と目的

• 従来の補正手法が画像境界を歪ませるという深刻な問題に対処し、下流のビジョン認識モデルの性能を低下させることを防ぐ。
• 幾何的に正確なコンテンツと規則的でまっすぐな境界を両立させる「ウィンウィン」な表現を提案する。
• 複雑な非線形的・非剛性変形をモデル化できる柔軟でエンドツーエンドの教師なし学習フレームワークを開発する。
• 単純な変換から複雑な変換へと段階的に進むDoFに基づくカリキュラム学習戦略を導入することで、学習の安定性と収束速度を向上させる。
• 画像境界が歪むことが、ビジョンモデルの性能低下を引き起こす根本的原因であることを特定し、さまざまなビジョンタスクに広く影響を及ぼすことを実証する。

提案手法

• 補正済み画像上の制御点を学習することで、歪んだ空間から補正済み空間への非線形的・非剛性な歪みをモデル化する薄板スプライン（TPS）モーションモジュールを採用する。
• TPSを用いて変形を微分可能変換として定式化し、教師なしの環境下でもエンドツーエンドの学習が可能になるようにする。
• 4-DoFの類似変換から8-DoFのホモグラフィー変換へと段階的に進むDoFに基づくカリキュラム学習スケジュールを実装する。
• 直線的境界から曲線的境界へと段階を経て進めるようにカリキュラムを構造化し、ネットワークが階層的な幾何的ルールを学習し、局所最適解に陥るのを回避できるようにする。
• ペアド実世界データを必要としない、画像再構成と構造的一致性に基づく自己教師付き損失を用いて、TPS変形を最適化する。
• 訓練パイプラインを設計し、低複雑性の変換から開始して段階的に変形能力を向上させることで、収束性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 なぜ、補正済み広角画像における歪んだ境界が、Mask R-CNNのような現代のビジョン認識モデルにおいて顕著な性能低下を引き起こすのか？
• RQ2 画像コンテンツの補正とまっすぐで規則正しい画像境界の両方を同時に保持できる統一された表現を学習可能か？
• RQ3 段階的でDoFに基づくカリキュラム学習は、広角画像補正の非剛性変形ネットワークの学習をどのように改善するのか？
• RQ4 TPSベースの変形モデルは、幾何的忠実性と意味的一致性を保つ点で、従来の補正手法をどの程度上回るのか？
• RQ5 提案手法は、ドメイン特化のファインチューニングなしに、多様な実世界の広角レンズおよび合成データセットに一般化可能か？

主な発見

• 9×9の制御点グリッドを用いたTPSモジュールが最良の性能を示し、ベンチマークデータセット上でPSNRが18.68、SSIMが0.5450、FIDが19.01、LPIPSが0.1136を達成した。
• 4-DoFから8-DoFへの進行を伴うカリキュラム学習（Vanilla + C3）により、収束が早まり、一般化性能が向上し、バニラ学習に比べて訓練エポック数を約40%削減できた。
• アブレーションスタディにより、制御点密度の増加が境界の局所化と構造回復を向上させることを確認し、9×9が最適であることが判明した。
• RecRecNetは、Rokinon 8mmやGoProなどの多様な実世界の広角レンズからの画像に対しても良好に一般化し、クロスドメイン評価で最先端手法を上回った。
• 本研究では、歪んだ境界が特徴マップに人工的なエッジや特徴を導入し、畳み込み層を介して伝搬され、Mask R-CNNのようなモデルで意味的誤解を引き起こすことが判明した。
• 歪んだ境界に起因するエッジ効果は、補正に限らず、画像スタッチング、ワープ、ロールシャッターキャンセレーションなど、他のビジョンタスクに対しても影響を及ぼすことが示され、その広範な影響を強調している。