[論文レビュー] Selective Feature Connection Mechanism: Concatenating Multi-layer CNN Features with a Feature Selector

Chen Du, Chunheng Wang+3 more|arXiv (Cornell University)|Nov 15, 2018

Advanced Neural Network Applications参考文献 55被引用数 4

ひとこと要約

本論文では、高レベル特徴から生成される特徴選択子を用いて、低レベル特徴と高レベル特徴を選択的に統合する、軽量でエンドツーエンドで学習可能なモジュール、選択的特徴接続メカニズム（SFCM）を提案する。人間の視覚的注意に倣って、計算コストの増加を最小限に抑えつつ、画像分類、シーンテキスト検出、画像対画像変換の各タスクで一貫した性能向上を達成する。

ABSTRACT

Different layers of deep convolutional neural networks(CNNs) can encode different-level information. High-layer features always contain more semantic information, and low-layer features contain more detail information. However, low-layer features suffer from the background clutter and semantic ambiguity. During visual recognition, the feature combination of the low-layer and high-level features plays an important role in context modulation. If directly combining the high-layer and low-layer features, the background clutter and semantic ambiguity may be caused due to the introduction of detailed information. In this paper, we propose a general network architecture to concatenate CNN features of different layers in a simple and effective way, called Selective Feature Connection Mechanism (SFCM). Low-level features are selectively linked to high-level features with a feature selector which is generated by high-level features. The proposed connection mechanism can effectively overcome the above-mentioned drawbacks. We demonstrate the effectiveness, superiority, and universal applicability of this method on multiple challenging computer vision tasks, including image classification, scene text detection, and image-to-image translation.

研究の動機と目的

• 背景の雑音による影響を受ける低レベルの詳細特徴と高レベルの意味的特徴を統合する課題に取り組むこと。
• 一般用途に適した軽量なモジュールを設計し、意味的表現能力を損なわず、複数層のCNN特徴を選択的に統合可能にすること。
• 注意メカニズムを用いて特徴の流れを効果的に制御することで、画像分類、シーンテキスト検出、画像対画像変換といった多様なコンピュータビジョンタスクの性能を向上させること。
• 高レベルの意味的情報を用いて関連する低レベル特徴を選択するという、生物学的視覚的注意と整合するメカニズムを設計すること。

提案手法

• SFCMは、高レベル特徴から生成される特徴選択子を導入し、どの低レベル特徴を連結するかを動的に制御することで、注意に基づく統合を実現する。
• 本手法は、直接接続モードとリサンプル接続モードの2通りの接続モードをサポートしており、両者とも微分可能で、標準的な誤差逆伝播法により学習可能である。
• 特徴選択子は、高レベルの文脈に基づいて低レベル特徴マップの空間的位置に注目する学習可能な注目マップとして実装される。
• 本メカニズムはプラグアンドプレイであり、U-Net、EAST、pix2pixといった既存のCNNアーキテクチャに、アーキテクチャの大幅な見直しを伴わず容易に統合可能である。
• 特徴選択子は主ネットワークとエンドツーエンドで学習され、標準的な最適化手法（例：Adam）を用い、パラメータと計算コストの増加が最小限に抑えられる。
• 低レベル特徴（詳細）と高レベル特徴（意味的）の相補的な強みを活かし、関係のない低レベル信号に起因するノイズを低減する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な、高レベル特徴に駆動される特徴選択子は、視覚認識タスクにおけるマルチレベルCNN特徴の統合を改善できるか？
• RQ2 直接的なマルチスケール特徴連結と比較して、SFCMは精度とロバスト性の面で優れているか？
• RQ3 SFCMは、検出タスクや画像変換を含む多様なコンピュータビジョンタスクに普遍的に適用可能か？
• RQ4 SFCMは、ごみだらけのシーンにおける小規模または多方向のテキスト検出能力にどのように影響を与えるか？
• RQ5 特に細部の保持を重視する画像対画像変換において、SFCMは生成画像の品質をどの程度向上させるか？

主な発見

• ICDAR 2015のシーンテキスト検出ベンチマークにおいて、SFCMを搭載したEASTはFスコア0.8254を達成し、ベースラインと比較して精度と再現率の両方で顕著な向上を示した。
• COCO-Textデータセットにおいて、SFCMを強化したEASTモデルはFスコア0.4554を達成し、多方向および小規模なテキストインスタンスの検出性能が向上した。
• Cityscapesデータセットにおける画像対画像変換タスクで、SFCMを搭載したcGANはピxls単位の正答率0.71を達成し、ベースラインの0.66から向上した。生成画像の細部の保持性能も向上した。
• 定性的な結果から、SFCMによって生成された画像は、特に都市景観のような複雑なシーンにおいて、より鋭いエッジと正確な構造的詳細を有することが明らかになった。
• SFCMは、評価されたすべてのタスクで一貫して性能向上を示し、多様なディープラーニングパイプラインにおける汎用性と有効性を確認した。
• 本手法は最小限のパラメータと計算コストしか追加しないため、リソース制限のある環境への導入に適している。