[論文レビュー] A Review of Multi-Modal Large Language and Vision Models

Kilian Carolan, Laura Fennelly+1 more|arXiv (Cornell University)|Mar 28, 2024

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

tldr: 本論文は MM-LLMs（マルチモーダル大規模言語モデル）の現状を概観し、歴史、アーキテクチャ、オープンとプロプリエタリモデル、トレーニング/チューニング手法、倫理、評価を扱う。 また、テキストのみの LLMs のうちマルチモーダル機能を持つものや vision-language models を review します。

ABSTRACT

Large Language Models (LLMs) have recently emerged as a focal point of research and application, driven by their unprecedented ability to understand and generate text with human-like quality. Even more recently, LLMs have been extended into multi-modal large language models (MM-LLMs) which extends their capabilities to deal with image, video and audio information, in addition to text. This opens up applications like text-to-video generation, image captioning, text-to-speech, and more and is achieved either by retro-fitting an LLM with multi-modal capabilities, or building a MM-LLM from scratch. This paper provides an extensive review of the current state of those LLMs with multi-modal capabilities as well as the very recent MM-LLMs. It covers the historical development of LLMs especially the advances enabled by transformer-based architectures like OpenAI's GPT series and Google's BERT, as well as the role of attention mechanisms in enhancing model performance. The paper includes coverage of the major and most important of the LLMs and MM-LLMs and also covers the techniques of model tuning, including fine-tuning and prompt engineering, which tailor pre-trained models to specific tasks or domains. Ethical considerations and challenges, such as data bias and model misuse, are also analysed to underscore the importance of responsible AI development and deployment. Finally, we discuss the implications of open-source versus proprietary models in AI research. Through this review, we provide insights into the transformative potential of MM-LLMs in various applications.

研究の動機と目的

• 大型言語モデルの歴史的発展とその能力における transformer の attention の役割を要約する。
• LLMs のマルチモーダル拡張と、視覚的要素が base LLMs にどのように統合されるかを評価する。
• コスト、透明性、倫理的配慮の観点から open-source と proprietary LLMs を比較する。
• モデルをタスクに合わせて微調整する際の一般的なファインチューニングおよびプロンプト設計技術をレビューする。
• MM-LLMs とそのデプロイに関連する評価ベンチマークと倫理的課題を論じる。

提案手法

• 主要な LLM および MM-LLM モデルとそのアーキテクチャをレビューして統合する。
• 自己注意機構、MHA、MQA、GQA などの attention メカニズムとそれらの計算上のトレードオフを説明する。
• トレーニング/ファインチューニング手法（LoRA、QLoRA、SFT、RLHF）とその含意を要約する。
• オープンソース対プロプリエタリモデルを、ライセンスおよびデータの考慮事項を含めて分析する。
• MM-LLMs および LLMs の評価ベンチマークと評価手法を論じる。
• データバイアスやモデルの悪用、オープンソースの公開性に関する倫理的課題を強調し、オープン対クローズドモデルと規制の含意について議論する。

Figure 1: A summary of how an input sequence is decomposed into query, key, and value vectors across the various attention mechanisms, taken from [ 31 ] .

実験結果

リサーチクエスチョン

• RQ1 LLMs および MM-LLMs の主な開発は何であり、アーキテクチャとトレーニングの点でどう異なるのか。
• RQ2 MM-LLMs を形成するために視覚コンポーネントは LLMs にどのように組み込まれ、どのチューニング手法が最も効果的か。
• RQ3 コスト、透明性、倫理の観点から open-source と proprietary LLMs のトレードオフは何か。
• RQ4 MM-LLMs を評価する際に用いられる評価ベンチマークは何か、ベンチマーク作成にどのような課題が生じるか。
• RQ5 MM-LLMs の開発とデプロイにおいて生じる倫理的配慮は何か、それをどう緩和できるか。

主な発見

• MM-LLMs は画像、動画、音声へと LLM の能力を拡張し、画像キャプション生成やテキストからの動画生成といった応用を実現する。
• アテンション機構（自己注意、MHA、MQA、GQA）は Transformer ベースのモデルの中心であり、性能とリソース使用に影響を与える。
• オープンソースの LLMs（例：LLaMA ファミリー、Falcon、Mistral）は透明性とコストの利点を提供するが、ライセンスとパフォーマンスはプロプライエタリモデルと比較して異なる。
• ファインチューニング手法（LoRA、QLoRA、SFT）と RLHF は、コストと効率を管理しつつモデルをタスクに合わせる一般的な戦略である。
• 倫理的懸念にはデータバイアス、モデルの悪用、ライセンス/アクセスの問題が含まれ、オープン対クローズドモデルと規制の含意について議論される。
• MM-LLMs および LLMs の評価とベンチマークは標準的な NLP およびマルチモーダルベンチマークに依存し、実務的な性能と安全性の考慮が強調される。

Figure 2: A comparative summary of different training methods used for the reviewed MM-LLMs, all which follow a two-stage training process (taken from [ 80 ] ).