[論文レビュー] Human-Centered AI for Data Science: A Systematic Approach

Dakuo Wang, Xiaojuan Ma+1 more|arXiv (Cornell University)|Oct 3, 2021

Ethics and Social Impacts of AI参考文献 15被引用数 5

ひとこと要約

本論文は、人間のニーズ、協働、制御を重視する、データサイエンスにおける人間中心のAI（HCAI）システムを開発するための体系的で3段階のアプローチ—探索、構築、統合—を提案する。4つの実用的HCAI実装戦略—ハイブリッドルール-AIシステム、人間を含むループ設計、人間のニーズを制約とするAI、神経記号的モデリング—を導入し、AIがデータサイエンスのワークフローにおいて人間の専門性を代替するのでなく補完すべきであることを示している。

ABSTRACT

Human-Centered AI (HCAI) refers to the research effort that aims to design and implement AI techniques to support various human tasks, while taking human needs into consideration and preserving human control. In this short position paper, we illustrate how we approach HCAI using a series of research projects around Data Science (DS) works as a case study. The AI techniques built for supporting DS works are collectively referred to as AutoML systems, and their goals are to automate some parts of the DS workflow. We illustrate a three-step systematical research approach(i.e., explore, build, and integrate) and four practical ways of implementation for HCAI systems. We argue that our work is a cornerstone towards the ultimate future of Human-AI Collaboration for DS and beyond, where AI and humans can take complementary and indispensable roles to achieve a better outcome and experience.

研究の動機と目的

• データサイエンスにおけるAI研究と現実世界の人間の使いやすさのギャップを、人間のワークフローとニーズに焦点を当てることで解消すること。
• データサイエンスのライフサイクルにおける特定で明確に定義されたタスクを支援するAIシステムを構築すること、ただし全プロセスの自動化は行わないこと。
• データサイエンス作業の大部分を占める、分野横断的チームの役割、人間の専門性、非モデリングタスクを尊重するAIシステムを保証すること。
• 人間を含むループメカニズムの統合と人間知識の制約としての組み込みにより、人間のコントロールと信頼を維持すること。
• データサイエンスおよびそれ以上の分野において、持続可能で協働的な人間-AIパートナーシップのビジョンを前進させること。

提案手法

• 実際のデータサイエンスワークフロー、ステークホルダーの役割、および人間のタイプごとのタスク配分を把握するためのユーザースタディを実施する。
• コードドキュメンテーションなどのタスクにおいてAIが失敗した場合に人間の入力を受けるように切り替える、ルールベースの論理とAIを組み合わせたハイブリッドシステムを設計する。
• 特徴量エンジニアリングのための人間を含むループアーキテクチャを実装し、AIとクラウドワーカーを並列で使用することで信頼性を向上させる。
• 罰則関数を用いて、公平性、推論速度などのブラックボックス制約（例：公平性、推論速度）を目的関数に埋め込み、AutoML最適化を拡張する。
• 神経記号的モデルを開発し、シンボリックテンプレート（例：スライド構造）とニューラルseq2seqモデルを組み合わせて、解釈可能で文脈に適したプレゼンテーション生成を実現する。
• HCAIシステムを実際のワークフローに統合し、ユーザースタディおよび実際の製品導入を通じて評価する。

実験結果

リサーチクエスチョン

• RQ1 AIシステムは、人間のコントロールを保ちながら、データサイエンスライフサイクルにおける特定で自動化できないタスクをどのように支援できるか？
• RQ2 多様なユーザーパーソナ、分野横断的協働、人間の知識に依存するタスクを考慮したHCAIシステムの主な設計原則は何か？
• RQ3 公平性やレイテンシなどの制約を通じて、人間の専門性をAI最適化プロセス（例：モデル選択）にどのように組み込むことができるか？
• RQ4 ハイブリッドおよび神経記号的アーキテクチャは、AI支援データサイエンスツールの信頼性と解釈可能性をどのように向上させることができるか？
• RQ5 HCAIシステムは、データサイエンスチームにおけるユーザートラスト、職務の安定性の認識、実世界での採用にどのような影響を与えるか？

主な発見

• 探索、構築、統合という3段階の体系的アプローチは、HCAI開発を実際の人間のワークフローとユーザーニーズに根ざさせるのに効果的であることが実証された。
• 人間を含むループおよびハイブリッドルール-AIシステムは、AI単体では失敗するコードドキュメンテーションや特徴量エンジニアリングなどのタスクにおいて、信頼性を顕著に向上させる。
• 罰則関数を介して、ビジネスおよび倫理的制約（例：公平性、推論速度）をAutoML最適化に組み込むことで、AIが現実世界の要件を満たすことが可能になった。
• シンボリックテンプレートとニューラル生成を組み合わせた神経記号的システムは、Jupyterノートブックからより解釈可能で文脈に適ったプレゼンテーションスライドを生成する。
• ユーザーレビューおよび実際の製品導入（数千人で使用された製品を含む）により、データサイエンティストがAI支援を歓迎し、職を失う恐れを抱かないことが確認された。
• 実際のワークフローへのHCAIシステムの統合は、人間の監視とコントロールが維持される場合に、信頼性と持続的採用が向上することを示している。