[論文レビュー] PICASO: Permutation-Invariant Cascaded Attentional Set Operator

Samira Zare, Hien Van Nguyen|arXiv (Cornell University)|Jan 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 1

ひとこと要約

PICASO は、集合要素間の高次相互作用を動的にテンプレートを形成することでモデル化する、置換不変で段階的なマルチヘッドアテンション集合演算子であり、集合ベースのタスクにおける性能を顕著に向上させる。画像分類（新視点下で+10%の精度向上）、異常検出（AUC-ROCで22%の向上）、状態予測（APで40%の向上）において最先端の結果を達成している。

ABSTRACT

Set-input deep networks have recently drawn much interest in computer vision and machine learning. This is in part due to the increasing number of important tasks such as meta-learning, clustering, and anomaly detection that are defined on set inputs. These networks must take an arbitrary number of input samples and produce the output invariant to the input set permutation. Several algorithms have been recently developed to address this urgent need. Our paper analyzes these algorithms using both synthetic and real-world datasets, and shows that they are not effective in dealing with common data variations such as image translation or viewpoint change. To address this limitation, we propose a permutation-invariant cascaded attentional set operator (PICASO). The gist of PICASO is a cascade of multihead attention blocks with dynamic templates. The proposed operator is a stand-alone module that can be adapted and extended to serve different machine learning tasks. We demonstrate the utilities of PICASO in four diverse scenarios: (i) clustering, (ii) image classification under novel viewpoints, (iii) image anomaly detection, and (iv) state prediction. PICASO increases the SmallNORB image classification accuracy with novel viewpoints by about 10% points. For set anomaly detection on CelebA dataset, our model improves the areas under ROC and PR curves dataset by about 22% and 10%, respectively. For the state prediction on CLEVR dataset, it improves the AP by about 40%.

研究の動機と目的

• 画像の平行移動や視点変化といった一般的なデータ変化に対して、既存の集合入力ネットワークの一般化性能の低さを是正すること。
• 集合要素間の高次依存関係を捉えることのできる、学習可能で置換不変な情報集約メカニズムの開発。
• クラスタリング、分類、異常検出、状態予測などのさまざまな機械学習パイプラインに統合可能なモジュラで独立した集合演算子の設計。
• アテンションベースの集合ネットワークにおいて、静的テンプレートと比較して動的テンプレート学習が一般化性能を向上させるかどうかの検証。

提案手法

• PICASO は、入力データに基づいて各ブロックが自身のアテンションテンプレートを動的に生成するマルチヘッドアテンションブロックの段階的構造を採用しており、適応的な特徴集約を可能にしている。
• 任意のサイズの入力集合を処理できるように、反復的更新と重み共有を特徴とする一般化ブロック（GPB）を用いている。
• 各アテンションブロックは、入力要素からクエリ、キー、バリューを計算し、動的テンプレートを用いて関連する部分に注目することで、置換不変性を確保している。
• CNNエンコーダーと統合可能であり、距離計算などの追加レイヤーと組み合わせることで、下流タスクの性能を向上させることができる。
• 置換不変出力と置換同値出力を両方サポートしており、異常検出やオブジェクト状態予測などの応用が可能である。
• 理論的にはソフトK-meansに基づいており、特定の条件下ではPICASOがクラスタリングに類似した操作を実装できることを示している。

実験結果

リサーチクエスチョン

• RQ1 画像の平行移動や視点変化といった一般的なデータ変化に対して、集合入力ニューラルネットワークは一般化できるか？
• RQ2 既存モデルにおける静的テンプレートと比較して、アテンション機構における動的テンプレート学習が一般化性能を向上させるか？
• RQ3 学習可能で段階的なアテンション機構は、事前に設計されたプーリングやアテンションベースの集約を上回る性能を発揮できるか？
• RQ4 1つの集合演算子が、クラスタリング、分類、異常検出、状態予測といった多様なタスクにどの程度一般化できるか？
• RQ5 提案された動的アテンション機構は、集合要素間の高次依存関係をモデル化できるか？

主な発見

• SmallNORB 画像分類タスクにおいて、PICASO はセットトランスフォーマーと比較して、新視点下で約10パcentポイントの精度向上を達成した。
• CelebA 異常検出ベンチマークでは、PICASO がベースラインモデルと比較して AUROC を約22%、AUPR を10%向上させた。
• CLEVR データセットにおける状態予測タスクでは、PICASO はセットトランスフォーマーと比較して平均精度（AP）で40%の向上を達成した。
• 3段階の更新ステップと重み共有を備えた一般化PICASOブロック（GPB）は、異常検出タスクにおける可変サイズの集合の処理に効果的であることを示した。
• 定性的な分析から、PICASO は重要な要素を効果的に強調しており、注目マップが意味のある特徴相互作用を明らかにしている。
• すべての評価タスクにおいて、セットトランスフォーマー、PMA、スロットアテンションなどの複数のベースラインを上回り、優れた一般化性能と頑健性を示した。