[論文レビュー] A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks

Saidul Islam, Hanae Elmekki+5 more|arXiv (Cornell University)|Jun 11, 2023

Advanced Neural Network Applications被引用数 26

ひとこと要約

この論文は、2017年から2022年までの5つの主要なアプリケーション領域（NLP、コンピュータビジョン、マルチモーダリティ、オーディオ/音声、信号処理）におけるトランスフォーマー系モデルを調査し、アプリケーションタスク別のモデル分類法を提案し、主要な影響力のあるモデルを分析します。

ABSTRACT

Transformer is a deep neural network that employs a self-attention mechanism to comprehend the contextual relationships within sequential data. Unlike conventional neural networks or updated versions of Recurrent Neural Networks (RNNs) such as Long Short-Term Memory (LSTM), transformer models excel in handling long dependencies between input sequence elements and enable parallel processing. As a result, transformer-based models have attracted substantial interest among researchers in the field of artificial intelligence. This can be attributed to their immense potential and remarkable achievements, not only in Natural Language Processing (NLP) tasks but also in a wide range of domains, including computer vision, audio and speech processing, healthcare, and the Internet of Things (IoT). Although several survey papers have been published highlighting the transformer's contributions in specific fields, architectural differences, or performance evaluations, there is still a significant absence of a comprehensive survey paper encompassing its major applications across various domains. Therefore, we undertook the task of filling this gap by conducting an extensive survey of proposed transformer models from 2017 to 2022. Our survey encompasses the identification of the top five application domains for transformer-based models, namely: NLP, Computer Vision, Multi-Modality, Audio and Speech Processing, and Signal Processing. We analyze the impact of highly influential transformer-based models in these domains and subsequently classify them based on their respective tasks using a proposed taxonomy. Our aim is to shed light on the existing potential and future possibilities of transformers for enthusiastic researchers, thus contributing to the broader understanding of this groundbreaking technology.

研究の動機と目的

• トランスフォーマー系モデルの主要なアプリケーション領域を特定し、各領域内の影響力のあるモデルを要約する。
• アプリケーションタスクに基づくトランスフォーマーモデルの分類体系を提案し、それらのタスク性能を分析する。
• 多様な分野におけるトランスフォーマー応用の課題と将来の機会を明らかにする。

提案手法

• 2017–2022年の調査論文とトランスフォーマー系モデルの体系的な文献調査。
• アプリケーション領域とタスクに基づくモデルの分類を taxonomy に整理する。
• 新規性、アテンション機構の革新、影響、および実世界での適用性に基づくモデルの選択基準。
• 各領域における重要モデルのデータセット、アーキテクチャ、および作動原理の分析。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーモデルが最も影響を与えている主要なアプリケーション領域は何か。
• RQ2 NLP、ビジョン、マルチモーダル、オーディオ/音声、信号処理において、どのトランスフォーマーモデルとタスク設定が進展を生み出してきたか。
• RQ3 アーキテクチャ、事前学習、アプリケーション視点の変動を最も正確に捉える分類体系はどれか。
• RQ4 多様な深層学習タスクへのトランスフォーマー適用における主要な課題と将来の方向性は何か。

主な発見

• 著者らは NLP、コンピュータビジョン、マルチモーダリティ、オーディオ/音声、信号処理をトランスフォーマーの主要な5つの応用領域として特定している。
• 600以上のトランスフォーマーモデルをレビューし、領域横断の分類と議論のための代表モデルを選択する。
• 本論文は、アプリケーション分野とタスクに基づくトランスフォーマーモデルの高レベルな分類体系を提案している。
• 既存の調査を比較し、特にマルチモーダルおよび信号処理の応用分野におけるギャップを強調している。
• この調査はトランスフォーマー研究の将来展望と未解決の課題について論じている。