[論文レビュー] Solving Machine Learning Problems

Sunny Tran, Pranav Krishna+5 more|arXiv (Cornell University)|Jul 2, 2021

Topic Modeling参考文献 20被引用数 5

ひとこと要約

本論文は、STEM教育の応用を想定し、表現木とグラフ表現を用いたTransformerベースのエンコーダデコーダモデルに、データ拡張とヒント生成を組み合わせることで、大学学部レベルの機械学習問題を96%の精度で解ける最初の機械学習システムを提示している。複数選択問題では97%の精度を達成し、MITの学生の平均93%を上回っている。

ABSTRACT

Can a machine learn Machine Learning? This work trains a machine learning model to solve machine learning problems from a University undergraduate level course. We generate a new training set of questions and answers consisting of course exercises, homework, and quiz questions from MIT's 6.036 Introduction to Machine Learning course and train a machine learning model to answer these questions. Our system demonstrates an overall accuracy of 96% for open-response questions and 97% for multiple-choice questions, compared with MIT students' average of 93%, achieving grade A performance in the course, all in real-time. Questions cover all 12 topics taught in the course, excluding coding questions or questions with images. Topics include: (i) basic machine learning principles; (ii) perceptrons; (iii) feature extraction and selection; (iv) logistic regression; (v) regression; (vi) neural networks; (vii) advanced neural networks; (viii) convolutional neural networks; (ix) recurrent neural networks; (x) state machines and MDPs; (xi) reinforcement learning; and (xii) decision trees. Our system uses Transformer models within an encoder-decoder architecture with graph and tree representations. An important aspect of our approach is a data-augmentation scheme for generating new example problems. We also train a machine learning model to generate problem hints. Thus, our system automatically generates new questions across topics, answers both open-response questions and multiple-choice questions, classifies problems, and generates problem hints, pushing the envelope of AI for STEM education.

研究の動機と目的

• MITの6.036コースの実際の大学学部レベルの機械学習問題を解ける機械学習システムの開発を目的とする。
• 機械学習の質問応答タスクにおいて人間の性能を超えて、Aランクの精度を達成することを目的とする。
• STEM教育を支援するための自動的なヒント生成および新規問題の生成を可能とすることを目的とする。
• 特に線形代数と微積分に基づく数学的問題に対して、純粋なTransformerモデルの限界を是正することを目的とする。
• 機械学習手法を用いて機械学習問題の学習を行うことで、「学びの学び」の可能性を検証することを目的とする。

提案手法

• 数学的式や問題構造をモデル化するため、グラフおよび木構造表現を用いたTransformerベースのエンコーダデコーダアーキテクチャを採用する。
• テンプレート化と言い換えを用いたデータ拡張により、再帰的で複雑な問題を含む多様な訓練例を生成する。
• 数値的および記号的演算の推論を向上させるために、解法を表現木で表現する。
• オープンレスポンス質問への回答における信頼性と正確性を向上させるために、解法ランク付け手順を適用する。
• 教育的価値のあるヒントを生成する別個のモデルを訓練し、説明可能性と学習支援を強化する。
• ランダムネスの影響を考慮し、1回の実験あたり4回ずつモデルを微調整し、平均性能を報告する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、大学学部レベルのコース全般から機械学習問題を高精度で解けるか？
• RQ2 データ拡張技術は、再帰的で記号的な問題を含む多様な機械学習トピックにおけるモデルの一般化能力を向上させられるか？
• RQ3 質問-回答ペアの学習によって訓練されたモデルは、標準化された機械学習コースの評価において人間の学生を上回れるか？
• RQ4 機械学習モデルは、学生の学習と説明可能性を向上させる意味のあるヒントを生成できるか？
• RQ5 記号的表現を組み合わせたTransformerは、数学的根拠に基づくSTEMの問題において、標準モデルをどれほど上回れるか？

主な発見

• 本システムは、オープンレスポンス問題で96%、複数選択問題で97%の精度を達成し、MIT学生の平均93%を上回っている。
• 基本事項、パーセプトロン、再帰ニューラルネットワーク、意思決定木のトピックでは100%の精度を達成している。
• データ拡張の回数が少ない場合、性能が著しく低下し、1問あたり25件の拡張のみでは平均33%の精度にまで下がる。
• データ拡張を通じて再帰的問題構造を効果的に学習し、再帰ニューラルネットワークの問題では100%の精度を達成している。
• ヒント生成がパイプラインに統合されており、学習者向けの自動的で説明可能な支援が可能になっている。
• コーディング問題および画像ベースの問題では失敗しており、現在のマルチモーダルおよびコード生成能力の限界が示されている。