[논문 리뷰] Interactive Machine Learning: A State of the Art Review

Natnael A. Wondimu, Cédric Buche외 1명|arXiv (Cornell University)|2022. 07. 13.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

이 논문은 상호작용 기반 기계학습(iML)에 대한 종합적인 최신 동향 검토를 제시하며, 기술적 우수성과 응용/작업 중심 시각을 하부에서부터의 군집화를 통해 통합한 하이브리드 분류 체계를 제안한다. 논문은 강건한 학습, 저자원 학습, 탐색적 학습, iML 평가와 같은 핵심 연구 주제를 규명하면서도 아직 미비하게 다뤄진 분야를 지적하고, 적대적 방어, 사용자 참여, 성능 평가 프레임워크 등을 포함한 여섯 가지 향후 연구 방향을 제안한다.

ABSTRACT

Machine learning has proved useful in many software disciplines, including computer vision, speech and audio processing, natural language processing, robotics and some other fields. However, its applicability has been significantly hampered due its black-box nature and significant resource consumption. Performance is achieved at the expense of enormous computational resource and usually compromising the robustness and trustworthiness of the model. Recent researches have been identifying a lack of interactivity as the prime source of these machine learning problems. Consequently, interactive machine learning (iML) has acquired increased attention of researchers on account of its human-in-the-loop modality and relatively efficient resource utilization. Thereby, a state-of-the-art review of interactive machine learning plays a vital role in easing the effort toward building human-centred models. In this paper, we provide a comprehensive analysis of the state-of-the-art of iML. We analyze salient research works using merit-oriented and application/task oriented mixed taxonomy. We use a bottom-up clustering approach to generate a taxonomy of iML research works. Research works on adversarial black-box attacks and corresponding iML based defense system, exploratory machine learning, resource constrained learning, and iML performance evaluation are analyzed under their corresponding theme in our merit-oriented taxonomy. We have further classified these research works into technical and sectoral categories. Finally, research opportunities that we believe are inspiring for future work in iML are discussed thoroughly.

연구 동기 및 목표

• 블랙박스 기반, 자원 소모가 큰 기계학습의 한계를 보완하기 위해 인간-기계 협업 기반 접근 방식을 iML을 통해 발전시키기 위해.
• 로봇공학, 퍼스티브 컴퓨팅, 클러스터링 등 iML의 적용이 제한된 분야와 같은 아직 다뤄지지 않은 적용 분야를 식별하고 체계화하기 위해.
• 기술적 특성과 응용 주제를 기반으로 하부에서부터의 군집화 접근 방식을 활용한 iML 연구를 위한 체계적 분류 체계를 제안하기 위해.
• 성능 평가, 사용자 참여, 신뢰성 등 iML 분야의 핵심 연구 격차를 부각하기 위해.
• 적대적 방어, 사용자 참여 모델링, 탐색적 학습, 저자원 학습, 사용자 경험 설계, 평가 프레임워크 등 여섯 가지 핵심 기회를 제시하여 향후 연구를 이끌기 위해.

제안 방법

• 기술적 우수성(예: 강건성, 저자원 학습)과 응용 작업(예: 헬스케어, 사이버 보안)을 기반으로 하부에서부터의 군집화를 적용하여 하이브리드 분류 체계를 개발하였다.
• 이 분류 체계를 활용해 적대적 공격 방어, 탐색적 기계학습, 자원 제약 학습 분야의 대표적 연구를 분석하였다.
• 기술적 범주와 분야별 범주로 연구를 분류하여 도메인 특화된 적용과 혁신 수준을 평가하였다.
• 성능, 신뢰성, 사용성 차원에서 기존 iML 시스템을 평가하였으며, 인간 피드백 루프의 중요성을 강조하였다.
• 체계적인 문헌 리뷰 방법을 통해 추세를 맵핑하고 반복적인 과제를 규명하며 연구 기회를 추출하였다.
• 현재 iML 문헌에서 관찰된 경험적 격차에 기반하여 향후 연구 방향을 제안하였으며, 특히 평가 및 사용자 상호작용 설계 분야에서의 격차를 중심으로 하였다.

실험 결과

연구 질문

• RQ1 기술적 우수성과 응용 분야 특화 수요를 동시에 반영할 수 있도록 상호작용 기반 기계학습(iML)을 체계적으로 분류할 수 있는 방법은 무엇인가?
• RQ2 의료 및 로봇공학과 같은 저자원, 실시간, 의사결정 민감도가 높은 분야에 iML를 적용할 때의 주요 과제는 무엇인가?
• RQ3 인간-기계 협업 메커니즘은 적대적 공격에 대한 모델의 강건성과 신뢰성 향상에 어느 정도 기여할 수 있는가?
• RQ4 iML 파ip라인에서 사용자 참여를 정량적으로 모델링하고 최적화할 수 있는 방법은 무엇이며, 이를 통해 성능과 사용성은 어떻게 향상될 수 있는가?
• RQ5 iML 성능 평가 분야에서 가장 시급한 격차는 무엇이며, 공진화하는 인간-AI 시스템을 위한 표준화된 벤치마크는 어떻게 개발할 수 있는가?

주요 결과

• 검색 및 검색, 퍼스티브 컴퓨팅, 클러스터링 등 분야에 대해 iML가 체계적으로 적용되지 않아 심각한 활용 미흡이 드러나 있다.
• 강력한 이론적·실용적 이점이 있음에도 불구하고, 농업, 헬스케어, 교육 등 고위험 분야에 대한 iML 시스템 개발은 여전히 미흡하며, 투명성과 신뢰성 요구가 높은 분야임에도 불구하고 그렇다.
• 인간-기계 협업 패러다임은 특히 적대적 공격 및 저자료 환경에서 모델의 해석 가능성과 강건성을 크게 향상시킨다.
• 현재 iML 평가에는 인간-AI 상호작용의 주관적이고 공진화적인 성격으로 인해 표준화된 벤치마크가 부족하여 심각한 연구 격차가 존재한다.
• 탐색적 기계학습는 여전히 미발전 상태이며, 실시간 해석과 피드백 통합이 현대 알고리즘에 적극적으로 통합되지 못하고 있다.
• 저자원 학습은 특히 계산 및 데이터 제약이 심한 로봇공학 및 엣지 디바이스 분야에서 iML를 통해 상당히 향상시킬 수 있다.