[論文レビュー] Adaptively Connected Neural Networks

Guangrun Wang, Keze Wang+1 more|ArXiv.org|Apr 7, 2019

Video Surveillance and Tracking Methods参考文献 58被引用数 10

ひとこと要約

本論文では、特徴ノードにおけるグローバル推論とローカル推論を動的に切り替えることで、ユークリッド空間（例：画像）および非ユークリッド空間（例：グラフ）の両方のデータにおいて、柔軟でデータ駆動型の接続性を実現する、新たなアーキテクチャである適応的接続ニューラルネットワーク（ACNet）を提案する。ACNetは、微分可能で重要度スコアを学習することで最適な接続を獲得し、ResNet や既存の GNN よりも優れた性能を達成しており、CNN や MLP の限界を克服している。

ABSTRACT

This paper presents a novel adaptively connected neural network (ACNet) to improve the traditional convolutional neural networks (CNNs) {in} two aspects. First, ACNet employs a flexible way to switch global and local inference in processing the internal feature representations by adaptively determining the connection status among the feature nodes (e.g., pixels of the feature maps) \footnote{In a computer vision domain, a node refers to a pixel of a feature map{, while} in {the} graph domain, a node denotes a graph node.}. We can show that existing CNNs, the classical multilayer perceptron (MLP), and the recently proposed non-local network (NLN) \cite{nonlocalnn17} are all special cases of ACNet. Second, ACNet is also capable of handling non-Euclidean data. Extensive experimental analyses on {a variety of benchmarks (i.e.,} ImageNet-1k classification, COCO 2017 detection and segmentation, CUHK03 person re-identification, CIFAR analysis, and Cora document categorization) demonstrate that {ACNet} cannot only achieve state-of-the-art performance but also overcome the limitation of the conventional MLP and CNN \footnote{Corresponding author: Liang Lin ([e-mail])}. The code is available at \url{https://github.com/wanggrun/Adaptively-Connected-Neural-Networks}.

研究の動機と目的

• CNN がグローバル依存関係を捉えるのを制限する点や、MLP が空間的構造を処理するのを困難にする点に対処する。
• 非局所ネットワークなどの既存手法が抱える過剰な局所化や過剰なグローバル化の問題を克服する。
• MLP と CNN を、ユークリッドおよび非ユークリッドデータを両方処理可能な、単一の微分可能フレームワークに統合する。
• ノードごとに最適な接続パターンを学習可能な、パラメータ効率的で柔軟なアーキテクチャを開発する。
• 画像認識およびグラフ学習の両タスクに一般化できることを示す。

提案手法

• ACNet は、特徴ベクトルユニット（例：ピクセル、音声サンプル、グラフノード）を「ノード」と定義することで、多様なデータタイプを統一的に扱える。
• アテンションに類似した重みを用いて、ローカル、グローバル、自己接続の組み合わせとしての特徴変換を定式化する。
• 接続の重要度は微分可能パラメータ（α, β, γ）でモデル化され、最適な接続性学習のためのエンド・ツー・エンドバックプロパゲーションが可能になる。
• 非構造的非ユークリッドデータにおける訓練の安定性を高めるために、位置エンコーディングを導入する。
• アーキテクチャは MLP や CNN を特別なケースとして含み、ACNet は適応的接続性を統合するフレームワークである。
• モデルは学習可能な集約関数を用いる：H′ = ∑j qij(xjw) + ∑j qij(xjw) + ∑j qij(xjw)，ここで qij は自己、ローカル、グローバル接続のための学習済みアテンション重みを表す。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、データ駆動的かつ微分可能な方法で、ローカル推論とグローバル推論を動的に切り替えることができるか？
• RQ2 適応的接続性は、CNN や MLP の固定接続性と比較して、画像およびグラフデータの両方の性能をどのように向上させるか？
• RQ3 文書の引用ネットワークのような非ユークリッドデータにおいて、グローバル推論とローカル推論の寄与度は何か？
• RQ4 位置エンコーディングは、非構造的グラフデータにおける訓練の安定性と性能にどのように影響するか？
• RQ5 ACNet は、画像分類、オブジェクト検出、ノード分類を含む多様なベンチマークに一般化可能か？

主な発見

• ImageNet-1k において、ACNet は ResNet よりも低いトップ-1訓練誤差および検証誤差を達成し、最適化および一般化性能の向上を示している。
• Cora の引用ネットワークにおいて、ACNet は 83.5% の精度を達成し、最先端の GNN である Dual GCN（83.5%）を上回っている。
• グローバル推論を除去すると、Cora で 1.4% の性能低下が生じ、長距離の意味的依存関係を捉える上でその重要性が確認された。
• ローカル推論を除去すると、7.2% の性能低下が生じ、ノード分類においてローカル構造と引用パターンが不可欠であることが示された。
• 固定されたグローバル＋ローカル接続性（定数アテンション重み）は、適応的バージョンより 0.8% 劣る性能を示し、動的切り替えの利点が裏付けられた。
• 位置エンコーディングを除去すると性能が 0.5% 減少し、非構造的グラフにおける訓練の安定性を高める上でその重要性が示された。