[論文レビュー] Efficient High-Resolution Deep Learning: A Survey

Arian Bakhtiarnia, Qi Zhang+1 more|arXiv (Cornell University)|Jul 26, 2022

Advanced Image Processing Techniques被引用数 7

ひとこと要約

本サーベイは、大規模なビジョンタスクにおける精度を維持しつつ、計算コストとメモリ使用量を削減する効率的な高解像度ディープラーニング手法について包括的な概要を提示する。局所空間ネットワーク、トークナイゼーションベースの手法、周波数ドメインネットワークといったアプローチを分類し、それらの設計原則、医療画像、リモートセンシング、監視分野における応用を強調するとともに、高解像度データセットのキュレートリストを提供する。

ABSTRACT

Cameras in modern devices such as smartphones, satellites and medical equipment are capable of capturing very high resolution images and videos. Such high-resolution data often need to be processed by deep learning models for cancer detection, automated road navigation, weather prediction, surveillance, optimizing agricultural processes and many other applications. Using high-resolution images and videos as direct inputs for deep learning models creates many challenges due to their high number of parameters, computation cost, inference latency and GPU memory consumption. Simple approaches such as resizing the images to a lower resolution are common in the literature, however, they typically significantly decrease accuracy. Several works in the literature propose better alternatives in order to deal with the challenges of high-resolution data and improve accuracy and speed while complying with hardware limitations and time restrictions. This survey describes such efficient high-resolution deep learning methods, summarizes real-world applications of high-resolution deep learning, and provides comprehensive information about available high-resolution datasets.

研究の動機と目的

• 高解像度の画像や動画を処理する際の高コストな計算、メモリ消費、推論遅延という、ディープラーニングにおける増大する課題に対処すること。
• リソース制約のある環境に特化した、高解像度入力向けに最適化された効率的ディープラーニング手法を特定・分類すること。
• 局所空間ネットワーク、ビジョントランスフォーマー、周波数ドメインアプローチといった最新の手法を、高解像度処理に特化して要約すること。
• ヒストパスロジー、リモートセンシング、クラウドカウンティングなどの分野における既存の高解像度データセットを収集・レビューすること。
• モデル圧縮、エッジコンピューティング、マルチモーダルラーニングとの統合といった、未解決の研究方向性を強調すること。

提案手法

• 効率的な高解像度ディープラーニング手法を4つの主要なファミリーに分類する：局所空間ネットワーク（LSNs）、トークナイゼーションベースの手法（TOIC）、周波数ドメインネットワーク、ハイブリッドアーキテクチャ。
• LSNが小さな重複領域のパッチで画像を処理することで計算量とメモリ使用量を削減し、特にギガピクセル画像に適していることを分析する。
• TOIC手法が、タスク固有の圧縮表現（例：グラフベースやアテンションベース）を用いて入力サイズを縮小しながら、タスクに必要な特徴を保持することを検討する。
• 周波数ドメインアプローチが、DCTなどのスペクトル表現に画像を変換することで、CNN や ViT による効率的な処理を可能にすることをレビューする。
• 深さ方向分離畳み込み、マルチスケール特徴抽出、アテンション機構の再設計といったアーキテクチャ最適化を検討し、ビジョントランスフォーマーにおける2次関数的複雑度を低減する。
• エッジコンピューティングとスプリットインフェレンスとの統合を提案し、軽量モデルがデバイス上で動作し、コンactな特徴をサーバーに送信して最終予測を実行する。

実験結果

リサーチクエスチョン

• RQ1 高解像度入力に対して精度を損なわずに効率的なディープラーニングモデルを構築する方法は何か？
• RQ2 異なるビジョンタスクにおいて、ギガピクセル画像を処理する際の、アーキテクチャ的および計算的トレードオフの鍵となる要因は何か？
• RQ3 局所空間ネットワークとトークナイゼーションベースの手法は、密度予測タスクにおいて、効率性と精度の観点でどのように比較できるか？
• RQ4 周波数ドメイン表現が、高解像度データの効率的処理を可能にする役割は何か？
• RQ5 エッジコンピューティングとモデル圧縮と統合された効率的な高解像度ディープラーニングは、実世界の展開にどのように組み合わせられるか？

主な発見

• 高解像度入力は、自己注意機構を有するビジョントランスフォーマーにおいて、FLOPsとメモリ使用量が2次関数的に増加する。
• 局所空間ネットワーク（LSNs）は、小さな重複パッチを処理することで計算量を削減し、ウェルスライドイメージングやリモートセンシングなどの応用に適している。
• トークナイゼーションベースの手法（TOIC）である Slide Graph や MCAT は、分野知識を活用したタスク固有の圧縮表現を学習することで、高い効率性を達成する。
• 周波数ドメインネットワーク、例えば CS-Fnet は、CNN や ViT をスペクトル表現に適応させることで、計算量とメモリ使用量の削減が期待され、有望な成果を示している。
• 線形化されたアテンション機構と深さ方向分離畳み込みを用いることで、ビジョントランスフォーマーは効率化され、高解像度データのスケーラブルな処理が可能になる。
• 効率的な高解像度手法をエッジコンピューティングとスプリットインフェレンスと組み合わせることで、ドローンやスマートフォンなどのリソース制約のあるデバイスへの実用的展開が可能になる。