[論文レビュー] AI-in-the-Loop -- The impact of HMI in AI-based Application

Julius Schöning, Clemens Westerkamp|arXiv (Cornell University)|Mar 21, 2023

Age of Information Optimization被引用数 4

ひとこと要約

本稿では、組み込みシステム向けの軽量で効率的なニューラルアーキテクチャを設計するために、AI開発の初期段階で人間-機械間相互作用（HMI）を統合するAI-in-the-loopフレームワークを提案する。AIアーキテクチャ設計段階で直感的なHMIを用いることで、生産性のないレイヤーを特定・削除し、計算オーバーヘッドを低減させ、不確実性が生じた際の人間の監視のもとでリアルタイムかつ説明可能なAI推論を可能にする。

ABSTRACT

Artificial intelligence (AI) and human-machine interaction (HMI) are two keywords that usually do not fit embedded applications. Within the steps needed before applying AI to solve a specific task, HMI is usually missing during the AI architecture design and the training of an AI model. The human-in-the-loop concept is prevalent in all other steps of developing AI, from data analysis via data selection and cleaning to performance evaluation. During AI architecture design, HMI can immediately highlight unproductive layers of the architecture so that lightweight network architecture for embedded applications can be created easily. We show that by using this HMI, users can instantly distinguish which AI architecture should be trained and evaluated first since a high accuracy on the task could be expected. This approach reduces the resources needed for AI development by avoiding training and evaluating AI architectures with unproductive layers and leads to lightweight AI architectures. These resulting lightweight AI architectures will enable HMI while running the AI on an edge device. By enabling HMI during an AI uses inference, we will introduce the AI-in-the-loop concept that combines AI's and humans' strengths. In our AI-in-the-loop approach, the AI remains the working horse and primarily solves the task. If the AI is unsure whether its inference solves the task correctly, it asks the user to use an appropriate HMI. Consequently, AI will become available in many applications soon since HMI will make AI more reliable and explainable.

研究の動機と目的

• 組み込みアプリケーション向けのアーキテクチャ設計段階において、特に人間が関与するAI開発段階が不足している問題に対処すること。
• 相互作用的なHMIを用いて畳み込みニューラルネットワーク（CNN）の生産性のないレイヤーを特定・削除することで、AIモデル開発における計算オーバーヘッドを低減すること。
• 推論段階に最小限のHMIを統合することで、人間の専門家がAIの不確実性に起因する意思決定に介入できるようにし、組み込みシステムにおける信頼性・安全性・説明可能性の高いAIを実現すること。
• 完全自動化から協働的AI-in-the-loopシステムへの移行により、安全・セキュリティが求められる組み込みAIアプリケーションの導入を加速すること。
• 高複雑性のAIモデルとリソース制限のある組み込みハードウェアの間のギャップを、HMI最適化された軽量アーキテクチャによって埋めること。

提案手法

• アーキテクチャ設計段階で個々のCNNレイヤーの生産性を可視化・評価するユーザーインターフェース（UI）を導入し、冗長または生産性のないコンponentsを即座に特定可能にする。
• AIアーキテクチャ設計段階で人間-機械間相互作用（HMI）の概念を適用し、開発者が必須のレイヤーのみを選択できるようにすることで、軽量で効率的なニューラルネットワークを実現する。
• インタラクティブな可視化技術を用いて、高次元のAI表現を人間が理解可能な問題の記述に変換し、意思決定を支援する。
• AIが予測の信頼度がしきい値未満に下がった際に、自発的に人間の入力を要請するAI-in-the-loop推論メカニズムを実装し、安全性と信頼性を確保する。
• 組み込みAIシステムに最小限のHMIを統合し、特に危険性や曖昧性の高い状況において、分野の専門家がAIの意思決定をリアルタイムで検証または是正できるようにする。
• 既存の説明可能性技術（例：サリエンシーマップ、注目可視化）を活用してHMI設計を支援し、推論中の透明性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 AIアーキテクチャ設計段階にHMIを効果的に統合することで、組み込みAIシステムにおける計算複雑性をどのように低減できるか？
• RQ2 相互作用的なHMIは、トレーニング前のCNNアーキテクチャにおいて、生産性のないレイヤーを特定するうえでどのような役割を果たすか？
• RQ3 HMIガイドド設計によって、どの程度軽量なAIアーキテクチャを開発可能となり、エッジデバイスにおける推論効率にどのような影響を与えるか？
• RQ4 AI-in-the-loopの概念は、安全・信頼性が求められる組み込みAIアプリケーションにおける信頼性と説明可能性をどのように向上させるか？
• RQ5 特に、不正なエラーが検出されないリスクを低減する観点から、AI推論段階に最小限のHMIを導入することの実用的利点は何か？

主な発見

• AIアーキテクチャ設計段階でのHMI統合により、生産性のないレイヤーを即座に特定でき、モデルの複雑さと計算要件が顕著に低減された。
• 冗長なレイヤーを早期に削除することで、リソース制限のある組み込みシステムへのデプロイに適した軽量なAIアーキテクチャが得られた。
• AI-in-the-loopアプローチにより、非効率なアーキテクチャの広範なトレーニングと評価の必要性が低減され、開発時間とリソース使用量が削減された。
• 推論段階でのインタラクティブHMIにより、AIが不確実性を示した際、分野の専門家が介入可能となり、危険性の高いアプリケーションにおけるシステムの信頼性と安全性が向上した。
• UI設計を通じて複雑なモデル表現を人間が理解可能なフィードバックに変換することで、説明可能なAIの開発を支援する。
• 本研究では、AI推論段階に最小限のHMIを統合することが、安全で信頼性の高いAIを組み込みシステムに導入するための実現可能で効果的なステップであることを示した。