[論文レビュー] A survey on Kornia: an Open Source Differentiable Computer Vision Library for PyTorch

Edgar Riba, Dmytro Mishkin+4 more|arXiv (Cornell University)|Sep 21, 2020

Advanced Neural Network Applications参考文献 62被引用数 9

ひとこと要約

この論文では、PyTorch上で構築されたオープンソースで微分可能（differentiable）なコンピュータビジョンライブラリであるKorniaを紹介している。Korniaは、GPUアクセラレーション、バッチ処理、微分可能処理を備えた古典的ビジョンアルゴリズムの実装を可能にする。画像フィルタリング、特徴検出、幾何変換といった従来のコンピュータビジョン演算を、微分可能なニューラルネットワークレイヤーに統合することで、バックプロパゲーションを用いたエンドツーエンドの学習が可能となり、特徴マッチングに対する adversarial attack といった新しい応用が可能になる。

ABSTRACT

This work presents Kornia, an open source computer vision library built upon a set of differentiable routines and modules that aims to solve generic computer vision problems. The package uses PyTorch as its main backend, not only for efficiency but also to take advantage of the reverse auto-differentiation engine to define and compute the gradient of complex functions. Inspired by OpenCV, Kornia is composed of a set of modules containing operators that can be integrated into neural networks to train models to perform a wide range of operations including image transformations,camera calibration, epipolar geometry, and low level image processing techniques, such as filtering and edge detection that operate directly on high dimensional tensor representations on graphical processing units, generating faster systems. Examples of classical vision problems implemented using our framework are provided including a benchmark comparing to existing vision libraries.

研究の動機と目的

• ディープラーニングフレームワークにおいて、古典的コンピュータビジョンアルゴリズムの微分可能でGPUアクセラレートされた実装が不足している問題に対処する。
• 従来のコンピュータビジョンとディープラーニングの間のギャップを埋めるために、ニューラルネットワーク内での微分可能なビジョン演算子を可能にする。
• 研究および産業応用向けに、バッチ処理、微分可能、GPU最適化されたビジョン操作をサポートする生産品質で拡張可能なライブラリを提供する。
• 微分可能な画像処理レイヤーや古典的ビジョンパラメータの微分可能最適化といった、新たな研究分野を可能にする。
• 古典的ビジョンモジュールをディープラーニングパイプラインに統合し、性能向上と解釈可能性の向上を図る。

提案手法

• GPUアクセラレーションと微分可能性を保証するため、ネイティブのPyTorchテンソル操作を用いてコンピュータビジョン演算子（例：フィルタリング、エッジ検出、画像ワープ）を実装する。
• ホモロジー、基本行列などの幾何、ヘシアンブロブなどの特徴検出、SIFTなどの記述子を含む、微分可能でautogradと互換性のあるモジュラーなコンponentsを設計する。
• PyTorchの分散処理およびデータ並列機能を活用して、複数のGPUを介した画像テンソルのバッチ処理を可能にする。
• PyTorchの逆方向自動微分を活用して、複雑なビジョンパイプラインを通過する勾配を計算し、エンドツーエンドの学習を可能にする。
• 微分可能なレイヤーをニューラルネットワークに挿入し、バックプロパゲーションによる最適化が可能なように、既存のディープラーニングワークフローと統合する。
• 異なる位置、記述子、正則化項を組み合わせた微分可能な損失関数を用いて、特定のホモロジーに一致するマッチングを強制するように画像摂動を最適化することで、特徴マッチングに対する adversarial attack を実証する。

実験結果

リサーチクエスチョン

• RQ1 古典的コンピュータビジョン演算は、ディープラーニングフレームワーク内で完全に微分可能であり、GPU上で効率的に実行可能か？
• RQ2 微分可能なビジョン演算子は、古典的ビジョンコンponentsに依存するディープネットワークの学習をどのように改善できるか？
• RQ3 Korniaのような微分可能なビジョンライブラリは、特徴マッチングに対する adversarial attack といった新しい応用をどの程度可能にするか？
• RQ4 Korniaのパフォーマンスと機能セットは、OpenCV や torchvision や tf.image といった既存のライブラリと比較して、微分可能性およびGPUサポートの面でどの程度優れているか？
• RQ5 微分可能なビジョンレイヤーは、勾配ベースの最適化を可能にすることで、古典的ビジョンパイプラインにおける手動のハイパーパramータチューニングの必要性を減らせるか？

主な発見

• 調査されたライブラリの中で、Korniaは唯一、バッチ処理、微分可能、GPUアクセラレートされた古典的ビジョンタスクを完全にサポートするオープンソースライブラリである。
• ライブラリはエンドツーエンドの微分可能な画像処理を可能にし、フィルタリング、ワープ、特徴抽出などの演算を通過する勾配を流すことができる。
• Korniaは、ターゲットホモロジーに一致するマッチングを生成するように摂動を最適化することで、局所的特徴マッチングに対する微分可能な adversarial attack を成功裏に実現した。
• フレームワークは、画像登録、深度推定、特徴マッチングなど、広範なビジョンタスクをサポートしており、既存のGPU最適化ライブラリと同等のパフォーマンスを示している。
• Korniaは50以上のプロジェクトで採用されており、GitHubで2450個のスターと250件のフォークを獲得しており、コミュニティによる強い受容と活発な開発を示している。
• 微分可能なビジョン演算子をディープラーニングパイプラインに統合することで、古典的ビジョンパラメータの共同最適化が可能になり、手動のチューニングへの依存が軽減される。