[논문 리뷰] AI-in-the-Loop -- The impact of HMI in AI-based Application

Julius Schöning, Clemens Westerkamp|arXiv (Cornell University)|2023. 03. 21.

Age of Information Optimization인용 수 4

한 줄 요약

이 논문은 임베디드 시스템을 위한 경량이고 효율적인 신경망 아키텍처를 설계하기 위해 AI 개발 초기 단계에서 인간-기계 상호작용(HMI)을 통합하는 AI-in-the-loop 프레임워크를 제안한다. AI 아키텍처 설계 단계에서 직관적인 HMI를 활용함으로써 비생산적인 레이어를 식별하고 제거함으로써 계산 오버헤드를 감소시키며, 불확실성이 발생할 경우 인간의 감시를 통해 실시간으로 설명 가능하고 신뢰할 수 있는 AI 추론을 가능하게 한다.

ABSTRACT

Artificial intelligence (AI) and human-machine interaction (HMI) are two keywords that usually do not fit embedded applications. Within the steps needed before applying AI to solve a specific task, HMI is usually missing during the AI architecture design and the training of an AI model. The human-in-the-loop concept is prevalent in all other steps of developing AI, from data analysis via data selection and cleaning to performance evaluation. During AI architecture design, HMI can immediately highlight unproductive layers of the architecture so that lightweight network architecture for embedded applications can be created easily. We show that by using this HMI, users can instantly distinguish which AI architecture should be trained and evaluated first since a high accuracy on the task could be expected. This approach reduces the resources needed for AI development by avoiding training and evaluating AI architectures with unproductive layers and leads to lightweight AI architectures. These resulting lightweight AI architectures will enable HMI while running the AI on an edge device. By enabling HMI during an AI uses inference, we will introduce the AI-in-the-loop concept that combines AI's and humans' strengths. In our AI-in-the-loop approach, the AI remains the working horse and primarily solves the task. If the AI is unsure whether its inference solves the task correctly, it asks the user to use an appropriate HMI. Consequently, AI will become available in many applications soon since HMI will make AI more reliable and explainable.

연구 동기 및 목표

• 임베디드 응용 프로그램을 위한 아키텍처 설계 단계에서 인간-기계 상호작용(HMI)이 부족한 문제를 해결한다.
• 상호작용 기반 HMI를 통해 컨볼루션 신경망(CNN)의 비생산적인 레이어를 식별하고 제거하여 AI 모델 개발 시 계산 오버헤드를 감소시킨다.
• AI가 불확실할 경우 인간 전문가가 개입할 수 있도록 인프런스 단계에서 최소한의 HMI를 통합하여 임베디드 시스템에서 신뢰성 있고 안전하며 설명 가능한 AI를 구현한다.
• 전체 자동화에서 협업 기반의 AI-in-the-loop 시스템으로 전환함으로써 안전 및 보안에 민감한 임베디드 응용 분야에 AI의 배포를 가속화한다.
• 고복잡도 AI 모델과 자원 제약이 있는 임베디드 하드웨어 간 격차를 경량화되고 HMI 최적화된 아키텍처를 통해 메우고자 한다.

제안 방법

• 아키텍처 설계 단계에서 각 CNN 레이어의 생산성을 시각화하고 평가할 수 있는 사용자 인터페이스(UI)를 도입하여 비효율적이거나 불필요한 구성 요소를 즉각 식별할 수 있도록 한다.
• AI 아키텍처 설계 단계에서 인간-기계 상호작용(HMI) 개념을 적용하여 개발자가 필수적인 레이어만 선택하도록 유도함으로써 경량이고 효율적인 신경망을 설계한다.
• 고차원의 AI 표현을 인간이 이해할 수 있는 문제 기반 설명으로 변환하기 위해 상호작용 기반 시각화 기법을 활용하여 정보 기반 설계 결정보조를 제공한다.
• AI가 예측에 대한 신뢰도가 임계값 이하로 떨어지면 자동으로 인간의 입력을 요청하는 AI-in-the-loop 추론 메커니즘을 구현하여 안전성과 신뢰성을 확보한다.
• 임베디드 AI 시스템에 최소한의 HMI를 통합하여 도메인 전문가가 실시간으로 AI 결정을 검증하거나 수정할 수 있도록 하며, 특히 임계적 또는 모호한 상황에서의 신뢰성을 높인다.
• 기존의 설명 가능성 기법(예: 시각화된 중요도 지도, 주의력 시각화 등)을 활용하여 HMI 설계를 지원하고 추론 과정에서의 투명성을 향상시킨다.

실험 결과

연구 질문

• RQ1 임베디드 AI 시스템에서 계산 복잡도를 감소시키기 위해 HMI를 AI 아키텍처 설계 단계에 효과적으로 통합하는 방법은 무엇인가?
• RQ2 상호작용 기반 HMI는 훈련 이전 단계에서 CNN 아키텍처의 비생산적인 레이어를 식별하는 데 어떤 역할을 하는가?
• RQ3 HMI 가이드 설계를 통해 얼마나 경량화된 AI 아키텍처를 개발할 수 있으며, 엣지 디바이스에서의 추론 효율성에 어떤 영향을 미치는가?
• RQ4 AI-in-the-loop 개념은 안전이 중요한 임베디드 AI 응용 분야에서 신뢰성과 설명 가능성에 어떻게 기여하는가?
• RQ5 특히 감지되지 않은 오류의 위험을 줄이기 위해 AI 추론 단계에 최소한의 HMI를 도입하는 데 실질적인 이점은 무엇인가?

주요 결과

• AI 아키텍처 설계 단계에서 HMI를 통합함으로써 비생산적인 레이어를 즉각 식별할 수 있으며, 이는 모델 복잡도와 계산 요구사항을 크게 감소시킨다.
• 조기 단계에서 불필요한 레이어를 제거함으로써 도출된 경량 AI 아키텍처는 자원 제약이 있는 임베디드 시스템에 더 적합하게 된다.
• AI-in-the-loop 접근법을 통해 비효율적인 아키텍처의 광범위한 훈련 및 평가가 줄어들어 개발 시간과 자원 소비가 감소한다.
• 추론 단계에서 상호작용 기반 HMI를 통해 도메인 전문가가 AI의 불확실성 시에 개입할 수 있어 임계 응용 분야에서의 시스템 신뢰성과 안전성이 향상된다.
• UI 설계를 통해 복잡한 모델 표현을 인간이 이해할 수 있는 피드백으로 변환함으로써 설명 가능한 AI 개발을 지원한다.
• 본 연구는 AI 추론 단계에서 최소한의 HMI 통합이 임베디드 시스템에 안전하고 보안적이며 신뢰할 수 있는 AI를 구현하기 위한 실현 가능하고 효과적인 단계임을 입증한다.