[논문 리뷰] Discovering the Sweet Spot of Human-Computer Configurations: A Case Study in Information Extraction

Maximilian Mackeprang, Claudia Müller-Birn외 1명|arXiv (Cornell University)|2019. 09. 16.

Persona Design and Applications참고 문헌 61인용 수 4

한 줄 요약

이 논문은 인간-컴퓨터 상호작용을 체계적으로 구성하기 위한 방법을 제안하며, 자동화 수준(LoA)을 탐색하여 인간의 노력과 시스템 성능 사이의 최적의 '황금지점'을 균형 있게 도출한다. 공동 창의적 아이디어 도출 과정에서의 정보 추출에 적용된 이 방법은 구성에 대한 실증적 평가를 가능하게 하여, 인간의 노고를 최소화하면서도 애너테이션 품질을 최적화하는 구성 가능한 오픈소스 도구를 제공한다.

ABSTRACT

Interactive intelligent systems, i.e., interactive systems that employ AI technologies, are currently present in many parts of our social, public and political life. An issue reoccurring often in the development of these systems is the question regarding the level of appropriate human and computer contributions. Engineers and designers lack a way of systematically defining and delimiting possible options for designing such systems in terms of levels of automation. In this paper, we propose, apply and reflect on a method for human-computer configuration design. It supports the systematic investigation of the design space for developing an interactive intelligent system. We illustrate our method with a use case in the context of collaborative ideation. Here, we developed a tool for information extraction from idea content. A challenge was to find the right level of algorithmic support, whereby the quality of the information extraction should be as high as possible, but, at the same time, the human effort should be low. Such contradicting goals are often an issue in system development; thus, our method proposed helped us to conceptualize and explore the design space. Based on a critical reflection on our method application, we want to offer a complementary perspective to the value-centered design of interactive intelligent systems. Our overarching goal is to contribute to the design of so-called hybrid systems where humans and computers are partners.

연구 동기 및 목표

• 상호작용 지능 시스템 설계 시 체계적인 지침의 부족 문제를 해결하기 위해, 특히 인간과 기계의 기여 비율을 적절히 조절하는 데 초점한다.
• 공동 창의적 아이디어 도출 과정에서 애너테이션 품질을 최대화하면서 인간의 노력 최소화를 달성하는 '황금지점'—균형 잡힌 구성—을 규명한다.
• 상호작용 지능 시스템의 인간-컴퓨터 구성 설계 공간을 체계적으로 탐색할 수 있도록 지원하는 방법을 개발한다.
• 다양한 용도 목표에 맞게 조정 가능한, 실증적으로 검증된 정보 추출 도구를 제공한다.
• 가치 중심 설계에 대한 보완적 시각을 제공하며, 인간-컴퓨터 협업에서의 구성 가능성과 성능 트레이드오프에 집중한다.

제안 방법

• 각 구성은 인간과 컴퓨터의 작업 배분 방식이 다른 수준의 자동화(LoA)로 정의되며, 이를 기반으로 한 방법이다.
• 각 LoA는 특정한 기술적 실현 방식(계산 유형)과 정의된 인간 참여 수준을 갖는다.
• 구조화된 설계 공간 탐색을 통해 구성 요소를 체계적으로 정의하고 실증적으로 평가한다.
• 임계값 모니터링 및 구성 평가를 지원하기 위해 메트릭 카탈로그와 메트릭 정의를 위한 종속성 그래프를 제안한다.
• 이 방법은 실제 응용 사례인 공동 창의적 아이디어 도출 과정에서 아이디어 콘텐츠의 정보 추출에 적용되었으며, 의미적 애너테이션을 사용한다.
• 최종적으로 도출된 도구인 ICV(Interactive Concept Validation)는 사용자가 응용 맥락에 맞게 '황금지점'을 선택할 수 있도록 구성 패널을 포함한다.

실험 결과

연구 질문

• RQ1 상호작용 지능 시스템에서 인간-컴퓨터 상호작용의 다양한 구성 요소를 체계적으로 정의하고 평가할 수 있는 방법은 무엇인가?
• RQ2 협업적 아이디어 도출을 위한 정보 추출에서 인간의 노력과 시스템 성능 사이의 최적 균형은 무엇인가?
• RQ3 자기화 수준(LoA)을 실제 상호작용 시스템에 어떻게 구체적으로 적용하고 평가할 수 있는가?
• RQ4 자동화된 정보 추출에서 애너테이션 품질과 인간의 노동량 사이의 트레이드오프는 무엇인가?
• RQ5 이 방법은 다른 상호작용 지능 시스템 응용 분야로 일반화되고 조정 가능한가?

주요 결과

• 이 방법은 인간의 노력은 최소화하면서도 높은 애너테이션 품질을 유지하는 정보 추출의 '황금지점' 구성 요소를 성공적으로 규명하였다.
• 다양한 구성에 대한 실증적 평가 결과, 중간 수준의 자동화가 성능와 노동량 사이의 최적 트레이드오프를 제공하는 것으로 확인되었다.
• 개발된 ICV 도구는 구성 패널을 포함하여 오픈소스 소프트웨어로 공개되었으며, 사용자가 응용 맥락에 따라 시스템 동작을 선택할 수 있도록 하였다.
• 이 방법은 설계 결정을 명확히 하고 상호작용 시스템에서 자동화 선택에 대한 정보 기반 의사결정을 지원하는 데 효과적이었다.
• 저자들은 세 가지 핵심 개선 사항을 규명하였다: 메트릭 카탈로그, 메트릭 정의를 위한 종속성 그래프, 반복적 설계 개선을 위한 행동-반성 모델.
• 체계적인 구성 설계가 비체계적인 자동화 선택보다 더 나은 시스템 성과를 이끌어낸다는 증거를 제시하였다.