[논문 리뷰] Human vs. supervised machine learning: Who learns patterns faster?

Niklas Kühl, Marc Goutier외 3명|arXiv (Cornell University)|2020. 11. 30.

Human-Automation Interaction and Safety인용 수 7

한 줄 요약

이 연구는 한정된 훈련 데이터(5–50개의 예시)에서 패턴을 식별하는 데 있어 인간과 지도 학습(SML)의 성능을 비교한다. 인간은 초반에 더 빨리 학습하지만, 약 20개의 예시 이후 인지적 과부하로 인해 성능이 정점에 도달한다. 반면 SML 모델은 더 천천가게 학습하지만, 4개의 패턴 유형 중 2개에서 인간을 능가한다. 특히 특성 공학이 가능한 패턴, 예를 들어 대각선 패턴에서 그러하다. 주요 기여는 패턴 복잡도와 데이터 부족 조건에서 성능의 분리에 대한 경험적 증거이다.

ABSTRACT

The capabilities of supervised machine learning (SML), especially compared to human abilities, are being discussed in scientific research and in the usage of SML. This study provides an answer to how learning performance differs between humans and machines when there is limited training data. We have designed an experiment in which 44 humans and three different machine learning algorithms identify patterns in labeled training data and have to label instances according to the patterns they find. The results show a high dependency between performance and the underlying patterns of the task. Whereas humans perform relatively similarly across all patterns, machines show large performance differences for the various patterns in our experiment. After seeing 20 instances in the experiment, human performance does not improve anymore, which we relate to theories of cognitive overload. Machines learn slower but can reach the same level or may even outperform humans in 2 of the 4 of used patterns. However, machines need more instances compared to humans for the same results. The performance of machines is comparably lower for the other 2 patterns due to the difficulty of combining input features.

연구 동기 및 목표

• 제한된 훈련 데이터 조건에서 인간과 지도 학습(SML) 모델 간의 학습 성능 차이를 조사하는 것.
• 소규모 샘플 환경에서 인간 학습 또는 기계 학습을 유리하게 만드는 작업 특성의 특성을 규명하는 것.
• 패턴 인식 작업에서 인간의 학습 곡선에 영향을 미치는 인지적 과부하의 영향을 평가하는 것.
• 소규모 예시에서 복잡한 패턴을 학습하는 데 있어 다양한 SML 알고리즘(결정 트리, 다층 퍼셉트론(MLP), 랜덤 포레스트)의 효과를 평가하는 것.
• 희소 레이블 데이터를 가진 실세계 응용 분야에서의 자동화 결정에 대한 경험적 통찰을 제공하는 것.

제안 방법

• 44명의 참가자를 대상으로 한 제어된 실험실 실험을 통해 5×5 행렬에서 네 가지의 고유한 이진 패턴 규칙을 식별하였다.
• 다섯 가지의 합성 패턴 작업을 설계: 대각선, 숫자(세기), 대칭(특성 비교), 무작위(패턴 없음).
• 동일한 레이블된 훈련 데이터에 대해 세 가지 SML 모델—결정 트리, 다층 퍼셉트론(MLP), 랜덤 포레스트—를 적용하였다.
• 참가자/모델당 5에서 50개의 훈련 예시를 사용하여, 증가하는 샘플 크기에 따라 정확도를 측정하였다.
• 표준 초모수를 사용해 모델을 훈련하고, 테스트 데이터에 대한 분류 정확도를 통해 성능을 평가하였다.
• 학습 곡선을 분석하여 다양한 패턴 유형에서 인간과 SML의 성능 흐름을 비교하였다.

실험 결과

연구 질문

• RQ1 제한된 데이터(5–50개의 예시)로 훈련했을 때 인간과 SML 모델 간의 학습 성능는 어떻게 다를까?
• RQ2 기본 패턴 구조(예: 특성 종속성, 복잡도)가 인간과 기계의 학습 성능에 유의미한 영향을 미치는가?
• RQ3 인간의 학습 성능가 정점에 도달하는 시점은 언제이며, 이는 인지적 과부하 때문인가?
• RQ4 소규모 데이터셋에서 다양한 종류의 패턴 인식 작업에 대해 어떤 SML 모델이 가장 우수한 성능을 보이는가?
• RQ5 SML 모델은 소규모 데이터 환경에서 인간을 능가할 수 있는가, 그리고 어떤 조건에서 그러한 성능을 보이는가?

주요 결과

• 인간은 약 20개의 훈련 예시 이후 성능이 정점에 도달하며, 이는 인지적 과부하가 추가 향상을 방해하기 때문으로 보인다.
• SML 모델은 인간보다 더 천천가게 학습하지만, 4개의 패턴 유형 중 2개에서 인간과 유사하거나 슈퍼리어한 성능을 보였다. 특히 대각선 및 대칭 규칙에서 그러하다.
• 결정 트리 모델은 중심 셀 특성($x_5$)을 결정적 지표로 식별할 수 있어 대각선 규칙에서 다른 모델들보다 뛰어난 성능을 보였다.
• SML 모델은 특성 공학 없이 '숫자' 및 '대칭' 규칙을 어려워했으며, 이는 복잡한 특성 조합이나 세기 연산이 필요하기 때문이다.
• 다층 퍼셉트론(MLP)은 대칭 규칙에서 결정 트리보다 더 좋은 일반화 성능를 보였지만, 공학된 특성이 없는 한 '숫자' 규칙을 학습하지 못했다.
• SML 모델 간의 성능 차이는 패턴 복잡도에 매우 의존적이었으며, 특히 특성 간 상호작용이나 비율 탐지가 필요한 작업에서는 실패했다.