[論文レビュー] Set aggregation network for structured data processing

Łukasz Maziarka, Marek Śmieja+4 more|arXiv (Cornell University)|Oct 3, 2018

Remote-Sensing Image Classification被引用数 1

ひとこと要約

この論文では、構造化データ向けの新しいグローバルプーリング層であるセットアグリゲーションネットワーク（SAN）を提案する。SANは、入力の全情報を保持したまま、任意のサイズのベクトルに特徴集合を埋め込む能力を持つ。従来のプーリングとは異なり、学習可能なアグリゲーションメカニズムにより意味のある、サイズ調整可能な表現を学習することで、分類精度を向上させ、過学習を低減し、正則化の役割を果たす。

ABSTRACT

Global pooling, such as max- or sum-pooling, is one of the key ingredients in deep neural networks used for processing images, texts, graphs and other types of structured data. Based on the recent DeepSets architecture proposed by Zaheer et al. (NIPS 2017), we introduce a Set Aggregation Network (SAN) as an alternative global pooling layer. In contrast to typical pooling operators, SAN allows to embed a given set of features to a vector representation of arbitrary size. We show that by adjusting the size of embedding, SAN is capable of preserving the whole information from the input. In experiments, we demonstrate that replacing global pooling layer by SAN leads to the improvement of classification accuracy. Moreover, it is less prone to overfitting and can be used as a regularizer.

研究の動機と目的

• 深層ニューラルネットワークにおける最大プールや合計プールのような固定サイズのグローバルプーリング層の限界を解決すること。
• 入力の特徴集合から任意サイズのベクトル表現を学習可能にする。
• 柔軟な埋め込み次元を許容することで、入力セットの全情報を保持すること。
• 学習可能な構造的アグリゲーションメカニズムにより、過学習を低減し、モデルの一般化性能を向上させること。
• 構造化データ処理における標準的なグローバルプーリング層の代替としての正則化機能を提供すること。

提案手法

• SANは、従来のグローバルプーリングを、入力特徴集合を指定可能なサイズのベクトルにマップする学習可能なアグリゲーションメカニズムに置き換える。
• ネットワークはパラメータ化された関数を用いて特徴をアグリゲートし、出力次元を入力セットサイズとは独立して調整可能にする。
• DeepSetsにインspiredされたが、学習可能なパラメータを用いることで、サイズに依存しない情報保持型の埋め込みを実現する点で拡張されている。
• アグリゲーションプロセスは微分可能であり、標準的な誤差逆伝播法を用いたエンドツーエンド学習が可能である。
• SANは置換不変性を維持しており、入力特徴の順序に関わらず一貫した出力を保証する。
• 固定および学習可能な埋め込み次元の両方をサポートしており、表現能力の制御が可能である。

実験結果

リサーチクエスチョン

• RQ1 入力セットからの全情報を保持しつつ、任意の出力次元を許容するグローバルプーリング層を設計できるか？
• RQ2 学習可能なアグリゲーションメカニズムは、標準的なプーリング操作と比較して分類精度にどのように影響するか？
• RQ3 従来のグローバルプーリング層と比較して、セットアグリゲーションネットワークは過学習をどの程度低減できるか？
• RQ4 提案されたネットワークは、構造化データ向けの深層学習モデルにおいて効果的な正則化因子として機能できるか？
• RQ5 埋め込みサイズを調整可能にすることで、構造化データタスクにおけるモデル性能が向上するか？

主な発見

• 標準的なグローバルプーリング層をSANに置き換えることで、ベンチマーク上の構造化データタスクにおける分類精度が向上する。
• SANは過学習に対してより強く、限られた学習データ下でも優れた一般化性能を示す。
• 適切なサイズの埋め込みを学習することで、入力セットの全情報を保持できる。
• SANは正則化の役割を果たし、追加のアーキテクチャ的要素を必要とせずに過学習を低減する。
• 置換不変性を維持しながら、集合の特徴に対する柔軟かつ学習可能な表現学習を可能にする。