[논문 리뷰] Solving Machine Learning Problems

Sunny Tran, Pranav Krishna외 5명|arXiv (Cornell University)|2021. 07. 02.

Topic Modeling참고 문헌 20인용 수 5

한 줄 요약

이 논문은 대학 기초 수준의 기계학습 문제를 96%의 정확도로 해결할 수 있는 최초의 기계학습 시스템을 제시한다. 개방형 응답 문제에 대해서는 96%의 정확도를 기록했고, 다중선택 문제에 대해서는 97%의 정확도를 달성했으며, 이는 MIT 학생들의 평균 93%를 초월한다. 이 시스템은 표현 트리와 그래프 표현을 활용한 Transformer 기반의 인코더-디코더 모델을 사용하며, 과학·기술·공학·수학 교육 분야의 응용을 위해 데이터 증강과 힌트 생성 기법을 통합하였다.

ABSTRACT

Can a machine learn Machine Learning? This work trains a machine learning model to solve machine learning problems from a University undergraduate level course. We generate a new training set of questions and answers consisting of course exercises, homework, and quiz questions from MIT's 6.036 Introduction to Machine Learning course and train a machine learning model to answer these questions. Our system demonstrates an overall accuracy of 96% for open-response questions and 97% for multiple-choice questions, compared with MIT students' average of 93%, achieving grade A performance in the course, all in real-time. Questions cover all 12 topics taught in the course, excluding coding questions or questions with images. Topics include: (i) basic machine learning principles; (ii) perceptrons; (iii) feature extraction and selection; (iv) logistic regression; (v) regression; (vi) neural networks; (vii) advanced neural networks; (viii) convolutional neural networks; (ix) recurrent neural networks; (x) state machines and MDPs; (xi) reinforcement learning; and (xii) decision trees. Our system uses Transformer models within an encoder-decoder architecture with graph and tree representations. An important aspect of our approach is a data-augmentation scheme for generating new example problems. We also train a machine learning model to generate problem hints. Thus, our system automatically generates new questions across topics, answers both open-response questions and multiple-choice questions, classifies problems, and generates problem hints, pushing the envelope of AI for STEM education.

연구 동기 및 목표

• MIT의 6.036 과정에서 나온 실제 대학 수준의 기계학습 문제를 해결할 수 있는 기계학습 시스템을 개발하는 것.
• 기계학습 질문-답변 과제에서 인간의 성능을 뛰어넘어 A등급 수준의 정확도를 달성하는 것.
• 과학·기술·공학·수학 교육을 지원하기 위해 자동으로 힌트와 새로운 문제를 생성할 수 있도록 하는 것.
• 특히 선형 대수학과 미적분학에 기반한 문제 해결 능력이 떨어지는 순수 Transformer 모델의 한계를 해결하는 것.
• 기계학습 기법을 사용해 기계학습 문제를 학습함으로써 '학습의 학습'의 가능성을 탐색하는 것.

제안 방법

• 수학적 표현과 문제 구조를 모델링하기 위해 그래프 및 트리 표현을 활용한 Transformer 기반의 인코더-디코더 아키텍처를 사용한다.
• 템플릿 생성과 다의어 표현을 통한 데이터 증강 기법을 활용해 다양한 훈련 예제를 생성하며, 특히 재귀적이고 복잡한 문제에 대해 유용하다.
• 수치 연산과 기호 연산에 대한 추론 능력을 향상시키기 위해 해답을 표현 트리로 표현한다.
• 개방형 응답 문제에 대한 정확도와 자신감을 향상시키기 위해 해답 순위 매기기 절차를 적용한다.
• 학생의 학습 지원과 설명 가능성 향상을 위해 교육적으로 유용한 힌트를 생성하는 별도의 모델을 훈련시킨다.
• 무작위성의 영향을 보완하기 위해 실험당 네 번씩 모델을 재학습하고 평균 성능을 보고한다.

실험 결과

연구 질문

• RQ1 기계학습 모델이 전면적인 대학 수준의 기초 기계학습 과정 문제를 높은 정확도로 해결할 수 있는가?
• RQ2 데이터 증강 기법이 재귀적이고 기호적 문제를 포함한 다양한 기계학습 주제에 대한 모델 일반화 능력을 향상시킬 수 있는가?
• RQ3 질문-답변 쌍으로 훈련된 모델이 표준화된 기초 기계학습 과정 평가에서 인간 학생들을 뛰어넘을 수 있는가?
• RQ4 기계학습 모델이 학생의 학습과 설명 가능성 향상에 기여하는 의미 있는 힌트를 생성할 수 있는가?
• RQ5 기호 표현을 통합한 Transformer 모델이 수학적으로 기반을 둔 과학·기술·공학·수학 문제에서 기존 표준 모델보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 시스템은 개방형 응답 문제에서 96%의 정확도, 다중선택 문제에서 97%의 정확도를 기록했으며, MIT 학생들의 평균 93%를 초월했다.
• 기초 개념, 퍼셉트론, 순환 신경망, 결정 트리 등의 주제에서는 100%의 정확도를 달성했다.
• 데이터 증강 수가 적을수록 성능이 크게 떨어지며, 질문당 25개의 증강만으로 평균 정확도가 33%로 떨어졌다.
• 데이터 증강을 통해 재귀적 문제 구조를 효과적으로 학습하여 순환 신경망 문제에서 100%의 정확도를 달성했다.
• 힌트 생성 기능이 파ip라인에 통합되어 학습자에게 자동으로 설명 가능한 지원을 제공할 수 있게 되었다.
• 코드 기반 문제와 이미지 기반 문제에서는 실패를 기록하여 현재의 다중 모odal 및 코드 생성 능력의 한계를 보여주었다.