[논문 리뷰] Conceptualization and Framework of Hybrid Intelligence Systems

Nikhil Prakash, Kory W. Mathewson|arXiv (Cornell University)|2020. 12. 11.

Mobile Crowdsensing and Crowdsourcing참고 문헌 19인용 수 5

한 줄 요약

이 논문은 하이브리드 지능 시스템(HIS)에 대해 정확한 정의와 혁신적인 프레임워크를 제안하며, 인간과 기계 지능을 통합하는 AI 시스템의 초집합으로서 HIS를 위치짓는다. 이 프레임워크는 결합 정도와 지시 권한 기반으로 HIS를 분류하며, 모든 AI 시스템이 본질적으로 하이브리드이며, 공정성, 책임성, 투명성을 확보하기 위해 수명 주기 전반에 인간 요소를 통합해야 한다고 주장한다.

ABSTRACT

As artificial intelligence (AI) systems are getting ubiquitous within our society, issues related to its fairness, accountability, and transparency are increasing rapidly. As a result, researchers are integrating humans with AI systems to build robust and reliable hybrid intelligence systems. However, a proper conceptualization of these systems does not underpin this rapid growth. This article provides a precise definition of hybrid intelligence systems as well as explains its relation with other similar concepts through our proposed framework and examples from contemporary literature. The framework breakdowns the relationship between a human and a machine in terms of the degree of coupling and the directive authority of each party. Finally, we argue that all AI systems are hybrid intelligence systems, so human factors need to be examined at every stage of such systems' lifecycle.

연구 동기 및 목표

• 실제 AI 응용 분야에서 점점 더 널리 사용되고 있음에도 불구하고 하이브리드 지능 시스템(HIS)에 대한 개념적 명확성이 부족한 문제를 해결하기 위해.
• HIS를 정확히 정의하고, 상호작용 기반 기계 학습, AI 융합 시스템, 혼합 주도 상호작용과 같은 관련 개념과의 차이를 명확히 하기 위해.
• 인간-기계 간의 결합 정도와 지시 권한 기반으로 기존 및 신규 HIS를 분류할 수 있는 통합 프레임워크를 수립하기 위해.
• 모든 AI 시스템이 본질적으로 하이브리드 지능 시스템이며, 수명 주기 전반에 걸쳐 인간 요소 통합이 필요하다는 것을 주장하기 위해.
• 시스템 개발 과정에서 공정성, 책임성, 투명성, 윤리성을 우선시하도록 실무자들을 유도함으로써 AI의 인간 중심 설계를 촉진하기 위해.

제안 방법

• 인간과 기계 지능을 융합하여 열등한 결과를 달성하기 위해 지속적인 학습과 상호 적응이 가능한 시스템으로서 하이브리드 지능 시스템의 형식적 정의를 제안한다.
• 인간과 기계 구성 요소 간의 결합 정도(유연한에서 단단한로)와 지시 권한(인간 또는 기계 주도) 기반으로 이원적 프레임워크를 도입한다.
• 이 프레임워크를 활용해 Teachable Machine, Mechanical Turk, Heteroglossia와 같은 잘 알려진 시스템을 분류하고 비교한다.
• 알부스의 지능 정의—불확실한 환경에서 최종 목표를 지원하는 부분 목표를 달성하기 위해 적절하게 행동하는 것—를 바탕으로 개념화를 정립한다.
• 기존 시스템을 이 프레임워크의 관점에서 분석하여, HIS의 조직화 및 분류에 있어 이 프레임워크의 실용성을 입증한다.
• 자기 충족형 AI 시스템은 이전에 하이브리드 시스템에 의해 생성된 경우에만 HIS의 하위집합이 되지만, 인간의 입력 없이 운영되기 시작하면 더 이상 하이브리드가 아니라는 주장을 펼친다.

실험 결과

연구 질문

• RQ1 하이브리드 지능 시스템은 무엇을 포함하며, 상호작용 기반 기계 학습이나 AI 융합 시스템과 어떻게 다를까?
• RQ2 인간과 기계 지능 간의 관계는 결합 정도와 지시 권한 측면에서 어떻게 체계적으로 분류될 수 있을까?
• RQ3 모든 AI 시스템이 본질적으로 하이브리드 지능 시스템인가? 이는 시스템 설계에 어떤 영향을 미칠까?
• RQ4 제안된 프레임워크는 실무에서 지능형 시스템의 분류, 설계, 거버넌스를 어떻게 향상시킬 수 있을까?
• RQ5 인간 요소는 AI 시스템 수명 주기 전반에서 어떤 역할을 하며, 왜 모든 단계에 통합되어야 할까?

주요 결과

• 제안된 프레임워크는 결합 정도와 지시 권한 기반으로 Teachable Machine와 Heteroglossia와 같은 기존 시스템을 성공적으로 분류하여 실용적 유용성을 입증한다.
• 논문은 하이브리드 지능 시스템이 상호작용 기반 기계 학습, 혼합 주도 시스템 등 다른 AI 파라다임을 초월하는 초집합임을 규명한다.
• 모든 AI 시스템은 개발, 훈련, 구현 단계에서 인간의 입력을 포함하므로 본질적으로 하이브리드 지능 시스템이며, 런타임 중 인간이 활동하지 않더라도 마찬가지다.
• 프레임워크는 Mechanical Turk가 기계 지능이 관여하지 않는 한 인간 계산 시스템에 불과하지만, 기계 지능이 포함된다면 하이브리드 지능 시스템이 된다는 점을 드러낸다.
• 연구는 지속적인 인간-기계 간 학습이 하이브리드로 분류되기 위한 필수 조건이 아니라는 점을 입증하여 이전의 정의에 도전한다.
• 논문은 공정성, 책임성, 투명성, 윤리적 배포를 확보하기 위해 인간 요소가 수명 주기 전 단계에서 반드시 고려되어야 한다고 결론 내린다.