[論文レビュー] AugLy: Data Augmentations for Robustness

Zoë Papakipos, Joanna Bitton|arXiv (Cornell University)|Jan 17, 2022

Adversarial Robustness in Machine Learning被引用数 27

ひとこと要約

AugLyは、堅牢性に焦点を当てたマルチモーダルデータ拡張ライブラリ（音声、画像、テキスト、動画）。現実的なオンライン perturbations や 敵対的風の拡張を可能にし、モデルのレジリエンスを評価・向上させます。

ABSTRACT

We introduce AugLy, a data augmentation library with a focus on adversarial robustness. AugLy provides a wide array of augmentations for multiple modalities (audio, image, text, & video). These augmentations were inspired by those that real users perform on social media platforms, some of which were not already supported by existing data augmentation libraries. AugLy can be used for any purpose where data augmentations are useful, but it is particularly well-suited for evaluating robustness and systematically generating adversarial attacks. In this paper we present how AugLy works, benchmark it compared against existing libraries, and use it to evaluate the robustness of various state-of-the-art models to showcase AugLy's utility. The AugLy repository can be found at https://github.com/facebookresearch/AugLy.

研究の動機と目的

• 古典的な変換を超える、現実世界のオンライン摂動を反映したデータ拡張を推進する。
• 音声、画像、テキスト、動画の跨る統一されたマルチモーダル拡張ライブラリを提供し、堅牢性評価を行う。
• 既存ライブラリと比較し、最先端モデルの堅牢性ギャップを評価する際のAugLyの活用を示す。

提案手法

• 統一APIを備えた4つのモダリティサブライブラリ（音声、画像、テキスト、動画）を含むAugLyを紹介する。
• メタデータ生成、拡張の組み合わせ、確率的適用、マルチモーダル拡張のサポートを説明する。
• ソーシャルメディアの摂動を模倣する拡張の例を示す（例：テキスト/絵文字のオーバーレイ、スクリーンショット）。
• 機能性と効率性を評価するため、モダリティを横断して既存ライブラリとAugLyを比較する。
• ImageNetおよびImageNet V2に対するAugLy拡張を適用した際のImageNetモデルのトップ5精度低下を測定して堅牢性を評価する。
• AugLyを用いて堅牢性ギャップを特定し、防御戦略を導く方法を論じる。

実験結果

リサーチクエスチョン

• RQ1 モダリティ全体での拡張の多様性と性能の観点で、AugLyは既存の拡張ライブラリとどう比較されるか？
• RQ2 現実的なオンライン摂動を受けたとき、AugLyは最先端の視覚モデルの堅牢性ギャップを見つけ出せるか？
• RQ3 異なるモダリティ（音声、画像、テキスト、動画）間での拡張がモデルの堅牢性に与える相対的な影響はどれくらいか？
• RQ4 単一モダリティの拡張と比較して、マルチモーダル拡張は追加の堅牢性洞察を生むか？
• RQ5 現代のアーキテクチャは、より広範な拡張群で訓練されるとAugLyの摂動に対してより堅牢になるか？

主な発見

• AugLyは四つのモダリティにわたる100以上の拡張を提供し、他のライブラリにはあまり見られないオンライン風の摂動を含む。
• 音声、画像、テキスト、動画の各モダリティで、AugLyの拡張は既存ライブラリと比較した場合に最先端モデルの堅牢性ギャップを明らかにする。
• ImageNetモデルの堅牢性はアーキテクチャによって異なり、EfficientNetは多くの拡張に対してより耐性を示す一方、ぼかしとランダムノイズには例外的。
• 定量的ベンチマークは、AugLyの拡張を用いて堅牢性を体系的に評価し、防御を導くのに役立つことを示している。
• 本論文は、AugLyを用いてImageNetおよびImageNet V2データセットでImageNetモデルを評価する実践的な利用例を示し、堅牢性ギャップの一般化を強調している。